字节跳动多模态算法工程师-抖音内容理解-筋斗云人才计划（北京/上海/深圳/杭州）

任职要求

1、获得博士学位，人工智能、计算机、数学相关专业优先；
2、具备扎实的编码能力、数据结构和基础算法功底，熟练运用各种算法框架与工程框架；
3、在国际会议或期刊发表论文者（包括但不限于ACL、EMNLP、Neur…

工作职责

团队介绍：抖音内容理解团队负责抖音集团内容算法工作，业务覆盖抖音、今日头条、西瓜视频、剪映等业务，承接业务在内容理解、LLM应用、新业务方向探索等方向的工作。技术上涵盖了CV，NLP，音频，LLM等算法方向。团队承载业务需求同时还负责底层基础算法技术，推动如基础预训练模型、视频生成等学术和专利相关工作，负责为抖音各个技术方向提供长期有深度的技术支撑。得益于抖音集团业务数量庞大的多模态业务数据和业务需求，团队能够有资源和机会去做出行业领先的技术创新，用最新的技术去改变影响用户和改变行业格局。

1、课题背景：随着多模态大模型效果的提升，现已变成了多个业务和技术方向的核心算法能力。随着业务在内容理解、推荐系统、内容治理、客服、创新业务等方向的广泛应用，对于多模态大模型也带来了新的算法能力需求：（1）内容理解：团队涉及了包括视频、直播、评论、图文等等不同的内容体裁和业务形态，集团公司所覆盖的活跃用户每天会产生数量巨大品类丰富的多模态内容，在提供了独一无二内容数据的同时，也衍生出来了独特的业务和技术需求；（2）多模态对话能力：作为大模型技术最直接的应用场景对话场景，团队在客服、AI分身等领域快速推进相关技术的落地应用。对应方向的多模态内容理解和挖掘、多模态对话能力是支撑该场景的重要基础技术，需要建设作者profile抽取、业务多模态文档挖掘、多模态对话模型等技术建设；（3）业务和技术创新：MLLM技术对于包括推荐、内容理解、社交等业务方向和算法技术都造成了巨大的冲击，多模态模型技术作为核心技术正在重构每一个重要的方向，会在下一代推荐系统、新业务形态、内部流程架构重构上扮演关键角色。
2、课题挑战：（1）高标准的算法要求：推荐系统、内容治理等方向内容理解的复杂度远高于公开评测集，团队需要在海量内容的业务真实场景下探索高效率、高标准的多模态算法解法，帮助团队迭代新一代的推荐系统、内容理解系统；（2）复杂的多模态生态交互：内容作者、内容消费者、社交交互、评论交互等不同角色在平台形成复杂的多模态交互，由此衍生出新的内容交互语义、生态互动逻辑，对多模态大模型算法提出了独特的算法挑战；（3）业务创新：大模型在多个领域都展现出来了卓越的理解和交互能力，如何应用新技术创造出新的业务方向，如何公司内部用新技术替代掉老的系统和流程，要求算法团队在有足够扎实技术能力的同时对业务和技术有足够深入的思考。
3、研究方向：大语言模型、多模态大模型、内容理解、推荐系统。