夸克智能信息-离线数据系统研发工程师-杭州

1、企业数据体系建设 负责企业级数据架构设计，制定数据标准与规范，支撑业务决策与智能化应用。 搭建数据采集与处理流程，整合多源数据（内部系统、外部API、公开数据库等），确保数据质量与一致性。 2、外部数据获取与处理 通过API接口或第三方数据服务，获取高质量外部数据（如行业趋势、市场动态、竞品信息）。 设计数据清洗规则与自动化脚本，处理缺失值、异常值及格式标准化，输出结构化数据资产。 3、数据建模与分析 基于业务场景（如用户画像、风险预测、供应链优化）构建统计模型或机器学习模型（如分类、回归、聚类）。 开发可复用的数据分析工具链，支持实时/离线分析，输出可视化报告或API接口供业务调用。

团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。

团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。

团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。