字节跳动【实习】抖音多业务场景的大模型训练与应用-抖音AI
实习兼职A37366地点:北京状态:招聘
任职要求
1、2027届及以后毕业,博士在读,计算机、软件工程、人工智能等相关专业背景; 2、优秀的问题分析与解决能力,能够深入解决大模型训练及应用中的复杂问题; 3、具备数据构建、指令微调及模型开发经验; 4、熟悉大模型相关技术,掌握相关训练推理框架,对大模型预训练、指令微调、Agent训练,RL等方向有深入研究和实践。 加分项 1、熟悉代码领…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
团队介绍:抖音AI团队主要负责抖音项目以及团队内的AI落地相关基础建设工作。我们的职责是用前沿的AI技术去赋能抖音应用以及抖音团队。我们希望在AI技术的加持下,能够更好的给抖音用户带来更好的信息消费体验,也能够让抖音这个大型组织能够更加高效的运转,从而更加及时的满足用户的各项诉求。团队主要负责抖音AI基础建设,包括但不限于模型训练、Agent相关的工程链路开发、通用Agent工具抽象以及AI Native的各类产品开发工作。AGI信仰强,以发展成为AI Native组织为目标,努力拓展传统协作模式的职责边界,充分给同学们提供自身探索的空间。 课题介绍:抖音研发团队,负责抖音短视频、直播、中长视频、搜索、图文、音乐、社交通讯、医疗等业务技术开发,以及字节跳动旗下产品的客服平台、业务安全、用户增长、用户体验、抖音账号、AI技术研究与赋能等中台团队的研发工作。本次课题共涉及5个方向: 1、用户体验:抖音场景下的端侧大模型架构与推理加速体系研究; 2、抖音直播:迭代3D生成大模型,优化数据、编码和模型架构,提升3D资产生成效率和品质; 3、汽水音乐:聚焦音乐生成大模型的核心算法研究与优化,旨在攻克上述技术瓶颈,提升AI音乐创作的质量、可控性与创新性,赋能短视频配乐、虚拟偶像等多元应用场景; 4、AI技术研究与赋能:随着大模型在代码生成与软件开发中的应用不断深化,构建端到端AI Coding模型已成为提升研发效率的关键方向。本课题聚焦从数据构建、模型训练(SFT/RL)、到推理部署的全链路优化,探索从需求理解,代码生成与修复,与功能上线的一体化建模方法。重点解决领域知识注入、大规模SFT训练、Agentic RL等问题,推动AI在抖音等真实业务研发场景中的规模化落地; 5、小荷健康:围绕问诊、工具调用、科普与病例分析,提升医疗大模型任务规划与推理能力,保证结果准确稳定可用。 课题挑战: 1、资源约束极强,需兼顾算力、内存与功耗;通用性要求高,需支撑多业务场景高精度处理;面向差异化设备,实现任务复杂度的弹性适配; 2、高质量3D数据严重稀缺,3D几何与纹理表征复杂,生成质量与美术水准比仍有差距,当前链路冗长效率偏低; 3、音乐审美偏好的量化建模问题、长序列高品质音乐生成问题、多风格泛化与创新生成问题、推理增强方法的迁移应用问题; 4、抖音研发大模型需高效的业务知识注入,复杂且超长的上下文管理,解决高质量训练数据稀缺,Agentic RL的持续训练; 5、小荷健康围绕医疗场景基座模型 ,Agent Foundation构建与评测体系,强化模型复杂知识检索、任务分解及长链路执行能力。通过优化 SFT、RL、OPD等后训练方法的组合策略,兼顾模型效果、稳定性与泛化性。同时探究线上用户体验与基座模型训练间的关联,实现医疗大模型能力与实际应用效果的协同提升。 课题价值: 1、技术价值:等参数量级下,可大规模落地的业界领先模型;业务价值:提升抖音用户和业务接入的覆盖面,获得用户和营收价值; 2、技术上提升3D表征与生成能力,迭代3D生成大模型;业务上支撑直播和社交应用,产出丰富3D资产,满足海量用户的个性化需求; 3、技术上突破音乐生成在审美建模、长序列连贯性等核心瓶颈,引领AI音乐生成技术前沿;业务上提升抖音/汽水音乐的AI创作能力,降低音乐创作门槛,丰富内容生态,提供音乐内容供给; 4、技术上探索前沿模型训练策略,构建字节内部真实环境下的数据飞轮,提高业务研发效率,提升代码质量与性能; 5、技术上提升医疗大模型Agent与Post-Training方向的关键技术突破,提升问诊、科普、病例分析等核心场景业务效果,沉淀可复用的数据、训练与评测方法,支撑长期模型演进。
包括英文材料
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
AI agent+
https://www.ibm.com/think/ai-agents
Your one-stop resource for gaining in-depth knowledge and hands-on applications of AI agents.
ICML+
https://icml.cc/
ICLR+
https://iclr.cc/
还有更多 •••
相关职位
社招3年以上A130659
1、负责抖音AI搜索增长方向策略产品工作,在抖音端内寻找合适的AI搜索应用场景,对AI搜索的规模指标负责; 2、通过数据分析和策略分析,输出有价值的策略优化方案,持续迭代各入口转化; 3、深入洞察用户需求与AI生成式能力、抖音内容生态的结合,不断开展产品创新思考; 4、与模型算法、工程技术、评测等团队紧密合作,完成策略迭代、效果评测、产品功能上线等落地项目。
更新于 2024-07-17北京
社招2年以上A198327
1、通过大模型技术重构传统拍照场景,如将参数调节转化为自然语言交互; 2、设计AI原生功能:场景理解→构图建议→自动化修图的端到端体验; 3、建立拍照场景的Prompt工程体系,持续优化模型输出效果; 4、探索多模态交互(语音/AR/图像实时生成)的创新结合点。
更新于 2025-03-13北京
社招3年以上A45374
1、负责抖音AI搜索模型数据(文本、多模态等)的模型训练标准和语料生产工作,根据算法训练方向输出合理准确的标注规则及评测标准; 2、联动语料标注团队进行高质量语料交付,通过绩效、培训等方式提升标注交付语料质量及效率; 3、负责数据质量的检查和验收,制定数据质量标准,形成规范化流程,通过问题总结和标准优化沉淀标注技能树,确保数据质量符合要求; 4、深度调研行业动态,挖掘高质量的数据来源,评估各来源对模型性能的增益,支撑模型质量提升。
更新于 2024-06-21北京