字节跳动大模型算法实习生（推荐大模型）-剪映-筋斗云人才计划（北京/深圳）

团队介绍：今日头条算法团队，致力于通过技术和算法，为用户提供个性化的新闻和信息推荐服务，直接对头条的用户体验负责。我们的业务涉及内容分发和消费、内容安全、内容生态、同城、热点、垂类等各个场景。在这里，你可以通过前沿推荐/NLP/CV算法的研究和改进，结合对产品、数据的深度理解分析，将算法实际应用到业务中去，服务数亿用户。 课题介绍：本项目旨在探索推荐领域下的大模型新范式，突破现在持续了较长时间的推荐模型结构和Infra的方案，且效果大幅好于现在的基线模型，在抖音短视频/直播/电商/头条/剪映等多个业务场景上得到应用。推荐领域的大模型是比较有挑战的事情，推荐对工程效率的要求更高，且用户的推荐体验上是个性化的，本课题会以下多个方向来做深入的研究，探索和建设推荐场景的大模型方案，大幅提升推荐模型的天花板。 1、负责深入探究文本（多模态）大模型蕴含的丰富世界知识，挖掘其在推荐领域的潜在应用价值。设计并实施创新方案，将大模型的知识体系与现有推荐架构有机融合； 2、专注于研究和解决ID化推荐模型与泛化内容理解信号的融合方式，平衡用户兴趣个性化与泛化性； 3、负责运用数据处理与分析技能，对海量繁杂的内容信号进行提取，构建智能过滤筛选体系；精准捕捉真正能够代表用户兴趣的关键内容信号。

团队介绍：Data-电商团队，负责电商创新项目的算法和大数据工作。依托于字节跳动产品，帮助用户发现并获得好物，享受美好生活。在这个团队，我们不仅要通过推荐和搜索算法帮助用户买到感兴趣的好东西，也要通过风控算法和智能平台治理算法去甄别违规行为，保护用户的购物体验；我们还要建设智能客服技术、大规模商品知识图谱来提升各个交易环节的效率；我们也要结合机器学习和运筹算法，来优化供应链和物流的效率和成本，并进一步提升用户体验；另外我们还会用人工智能来帮助商家提升经营能力。我们的使命：没有难卖的优价好物，让美好生活触手可得。 课题介绍： 背景：本项目旨在探索推荐领域下的大模型新范式，突破现在持续了较长时间的推荐模型结构和Infra的方案，且效果大幅好于现在的基线模型，在抖音短视频/直播/电商/头条/剪映等多个业务场景上得到应用。推荐领域的大模型是比较有挑战的事情，推荐对工程效率的要求更高，且用户的推荐体验上是个性化的，本课题会以下多个方向来做深入的研究，探索和建设推荐场景的大模型方案，大幅提升推荐模型的天花板。 1、在电商推荐海量用户与商品的数据下，探索大模型、大算力与推荐系统的结合； 2、探索多模态大模型等技术，提升相关类场景效果与用户体验； 3、探索LLM和推荐系统的结合、生成式推荐等方向，进一步提升信息匹配的效率。

团队介绍：负责影像业务剪映、醒图等创作工具的增长、内容分发和商业化的算法，以及数据科学相关工作，致力于激发用户创作灵感、优化创作效率和提高所创作内容的价值，并完成增长与商业化变现。 课题介绍：剪映CapCut创作工具需要更自动化的扩大模版与素材的供给，降低创作过程的难度，本课题旨在通过AIGC根据当前热点，推荐，搜索等分发线索自动生成模版、素材、音乐，大规模补充模版与素材供给，为用户提供更多创作灵感，以及根据用户上传素材，AIGC辅助自动成片。 1、基于多模态大模型（LLM/视觉/音频）技术，研发自动化内容生成系统，通过分析热点、搜索趋势及用户行为数据，构建动态生成模型，实现视频模板、风格化素材、场景适配音乐的规模化生产，提升创作工具的内容供给多样性； 2、研究用户意图深度理解模型，通过用户上传的原始素材（图片、视频片段、文字描述）分析创作目标，构建端到端的自动成片Pipeline，实现镜头分割、转场特效生成、字幕匹配、音乐适配的全流程AI化； 3、设计跨模态对齐算法，解决图文/视频/音乐的多维度语义匹配问题。

团队介绍：抖音内容理解团队负责抖音集团内容算法工作，业务覆盖抖音、今日头条、西瓜视频、剪映等业务，承接业务在内容理解、LLM应用、新业务方向探索等方向的工作。技术上涵盖了CV，NLP，音频，LLM等算法方向。团队承载业务需求同时还负责底层基础算法技术，推动如基础预训练模型、视频生成等学术和专利相关工作，负责为抖音各个技术方向提供长期有深度的技术支撑。得益于抖音集团业务数量庞大的多模态业务数据和业务需求，团队能够有资源和机会去做出行业领先的技术创新，用最新的技术去改变影响用户和改变行业格局。 课题背景：随着多模态大模型效果的提升，现已变成了多个业务和技术方向的核心算法能力。随着业务在内容理解、推荐系统、内容治理、客服、创新业务等方向的广泛应用，对于多模态大模型也带来了新的算法能力需求： 1）内容理解：团队涉及了包括视频、直播、评论、图文等等不同的内容体裁和业务形态，集团公司所覆盖的活跃用户每天会产生数量巨大品类丰富的多模态内容，在提供了独一无二内容数据的同时，也衍生出来了独特的业务和技术需求； 2）多模态对话能力：作为大模型技术最直接的应用场景对话场景，团队在客服、AI分身等领域快速推进相关技术的落地应用。对应方向的多模态内容理解和挖掘、多模态对话能力是支撑该场景的重要基础技术，需要建设作者profile抽取、业务多模态文档挖掘、多模态对话模型等技术建设； 3）业务和技术创新：MLLM技术对于包括推荐、内容理解、社交等业务方向和算法技术都造成了巨大的冲击，多模态模型技术作为核心技术正在重构每一个重要的方向，会在下一代推荐系统、新业务形态、内部流程架构重构上扮演关键角色。 课题挑战： 1）高标准的算法要求：推荐系统、内容治理等方向内容理解的复杂度远高于公开评测集，团队需要在海量内容的业务真实场景下探索高效率、高标准的多模态算法解法，帮助团队迭代新一代的推荐系统、内容理解系统； 2）复杂的多模态生态交互：内容作者、内容消费者、社交交互、评论交互等不同角色在平台形成复杂的多模态交互，由此衍生出新的内容交互语义、生态互动逻辑，对多模态大模型算法提出了独特的算法挑战； 3）业务创新：大模型在多个领域都展现出来了卓越的理解和交互能力，如何应用新技术创造出新的业务方向，如何公司内部用新技术替代掉老的系统和流程，要求算法团队在有足够扎实技术能力的同时对业务和技术有足够深入的思考； 研究方向：大语言模型、多模态大模型、内容理解、推荐系统。