字节跳动多模态模型算法工程师-国际化短视频(北京/上海)
任职要求
1、计算机科学基础扎实,具备优秀的编程能力,熟悉主流大模型训练与推理加速框架;
2、具备出色的实验分析与问题解决能力,能够深入解决模型训练和应用中的各类问题;
3、具备良好的沟通与…工作职责
1、负责多模态大模型(MLLM)的全流程训练,包括高质量数据的制作与收集、预训练(Pre-Training)、指令微调(SFT)和后训练(Post-Training),在开源及业务数据集上实现SOTA性能; 2、探索并优化大模型在国际化短视频业务场景下的高效微调和推理技术,满足多样化业务需求(短视频、直播等),实现模型的快速适配与高效部署; 3、负责多模态基础表征的训练与评估,建立能够准确反映其在推荐场景应用效果的评估指标,推动基础表征在推荐场景的落地并实现线上收益; 4、深入研究多模态、大模型等内容理解能力在推荐、搜索领域的创新应用,探索下一代推荐和搜索系统的新范式。
1、负责跟进前沿多模态大模型算法进展,聚焦探索在国际化短视频内容安全方向的应用; 2、通过提升算法技术解决业务在内容理解、内容安全上的切实需求; 3、利用多模态模型识别能力,结合推荐系统技术,降低推荐内容安全风险; 4、具体内容包括:多模态内容理解、多模态内容识别、多模态预训练、内容分发策略优化。
团队介绍:负责公司音乐相关业务的大语言模型的研发和应用,相关研发技术和解决方案在国际音乐、国际化短视频、豆包、抖音等产品中应用,满足音乐相关业务场景中的用户不断增长的智能交互需求,全面提升用户在音乐相关的创作和消费场景的体验。 1、参与音乐相关大模型的研发,如音乐预训练、音乐多模态模型等; 2、参与大模型技术在音乐场景中的探索和落地,如音乐搜推、音乐助手、视频配乐等; 3、在音乐人工智能领域开展前沿研究,在领域顶级期刊或会议上发表论文。
1、参与国际化短视频业务中的搜索及相关算法工作,深度理解业务,解决和跟进一线业务问题; 2、与产品运营团队紧密协作,在本地生活等垂类、AI大模型应用等创新方向持续迭代优化算法效果,达成业务目标; 3、结合业务场景挑战,跟踪前沿领域研究成果,推动技术创新在业务场景的深度应用,包括但不限于内容理解/信息抽取/多模态/大模型/文本生成/检索与相关性等算法领域。
1、参与国际化短视频产品的核心算法研发,重点负责多模态大模型的训练与优化,支撑视频推荐、本地生活服务、音乐推荐、图文理解等下游任务的实际落地,提升内容分发智能化水平; 2、结合业务场景需求,探索视觉、文本、音频等多模态信息的融合建模与对齐机制,提升内容理解与用户意图匹配能力,推动推荐系统向更深层次的语义理解演进; 3、应用强化学习技术解决多模态理解中的复杂建模与优化问题,包括多模态表示学习、跨模态对齐与跨语言泛化等关键挑战,持续提升线上效果; 4、参与算法平台与模型训练体系建设,提升多模态大模型的训练效率、资源利用率与部署稳定性,加速技术成果在全球化业务中的应用落地。