小红书流式视频理解算法工程师
任职要求
基础要求： - 计算机、电子工程、自动化等相关专业硕士及以上学历 - 扎实的深度学习基础，熟悉 Transformer 架构、注意力机制、位置编码等核心技术 - 熟练掌握 PyTorch，具备独立复现/改进论文的能力 - 良好的代码工程能力，有大规模分布式训练经验优先 专业方向（满足其中一项即可）： - 有视频理解相关研究或工程经验（VideoLLM、MLLM、Video QA、时序建模等），能独立跟进前沿工作 - 有长上下文/高效推理相关经验（…
工作职责
岗位介绍 我们正在探索流式视频大模型方向，致力于让模型从"看完再回答"进化为"边看边理解、实时响应"。你将参与构建面向真实世界的实时视觉理解系统，覆盖视频流理解、长时记忆建模、主动式交互等前沿课题，推动模型能力从离线走向在线。 流式理解核心研究 1. 跟踪流式视频理解领域最新进展，输出技术洞察，探索适合业务场景的创新方案 2. 设计高效的流式推理架构，包括记忆压缩模块、时序建模与位置编码方案 3. 构建流式视频训练数据集与训练框架，探索离线到在线的课程学习范式 视频内容理解落地 4. 研发视频内容理解模型：高光识别、场景分类、精彩度评分、人物/物体语义理解 5. 实现智能切片能力：从直播流/点播视频中自动定位高光片段，支持实时和离线两种模式 6. 将内容理解能力接入产品链路，包括直播封面、运营挖掘工具、创作者笔记诊断报告等 评测与工程 7. 构建流式视频评测体系，与人工标注对比，持续提升模型精度 8. 优化端到端推理延迟、显存占用和吞吐量，满足实时性要求
-负责搜索在线架构，包括文本搜索、视频搜索、图片搜索、语音检索、视觉检索、资讯/热议等各类搜索系统的架构研发工作 -负责服务治理与重构、云原生架构改造、搜索性能优化，保证搜索系统的可扩展性与可持续发展 -负责高并发架构机制、稳定性工程、检索延时优化、数据流系统研发，保证搜索系统全面可用性 -负责机器学习应用落地与智能化语义检索，提升搜索的智能化水平 -负责基础检索、排序架构、展现架构机制革新，支持用户体验、内容生态的革新
团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。
团队介绍：字节跳动搜索团队主要负责抖音、今日头条、西瓜视频等产品的搜索算法创新和架构研发工作。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1）探索最前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2）探索跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3）探索大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4）探索千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务，方方面面都进行深入研究和创新。 1、探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索LLM适性索引、LLM相关性、生成式召回、排序大模型等； 2、构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、训练和优化AI搜索的机器学习模型（多模态内容理解、指令微调、索引筛选、Query分析、Scalable Oversight、Long CoT、模型推理/规划、模型优化、构建全面客观准确的评测体系等）； 3、探索推进AI搜索、AIGC创新应用的落地（包含而不限于豆包、电商、抖音、智能硬件、AI找搭配/虚拟穿搭等大模型应用场景），研发以人工智能技术为核心的新技术、新产品，探索满足用户的智能交互需求，提升现实与物理世界的交互能力。
团队介绍：字节跳动抖音搜索团队主要负责抖音搜索算法创新和架构研发工作，主要包括短视频、直播、本地生活、视觉搜索等多个业务线。我们使用最前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，到应用上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，让视频搜索拥有更强大的检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新。 1、参与抖音搜索的核心算法改进工作：用先进的NLP、CV、CTR预估等技术不断提高搜索结果的精度，持续提升用户的搜索体验； 2、可能的方向包括： 1）匹配技术（文本匹配和多模匹配）：匹配技术是搜索引擎的核心；在抖音搜索，你将有机会应用前沿的NLP和CV技术为每一个Query匹配相关的视频，持续提升抖音搜索的相关性； 2）点击率预估：解决搜索中的推荐问题，让抖音搜索在“相关”的基础上增加个性化的能力，更懂用户； 3）视频理解：综合运用NLP、CV、图神经网络等技术，从视频本身以及社交网络的角度进行视频理解，提高搜索结果的权威性、可信度和有用性； 4）新产品形态和技术：探索智能封面、视频摘要、视频精准问答等高效便捷的交互技术。