通义通义实验室-多模态大模型训练infra工程师-语音实验室
任职要求
1. 有大规模大模型训练实际项目经验，负责训练系统核心研发工作。 2. 精通目前主流的大模型的结构与训练加速方法，熟悉各种并行方式的原理、实现与优化。 3. 精通Megatron、Deepspeed或DeepEP等训练框架/库，能够根据项目需求进行优化。 4. 熟悉大模型相关模型实现，有算子或算子调度优化经验；或有大模型多机多卡通信系统开发经验，能够优化千卡级训练系统的通信效率者优先。 5. 有多模态模型、MoE模型、或强化学习训练经验者优先。 6. 具备良好的团队协作能力与攻坚能力，能够与团队成员有效沟通，推动项目顺利进行。 7. 计算机科学、人工智能、机器学习或相关专业硕士研究生及以上学历，具有扎实的理论基础和实践经验。
工作职责
1. 负责多模态大模型训练系统开发与优化，完成模型结构与训练算法的适配与优化，确保系统高效与稳定。 2. 与算法团队协作，应用前沿的模型训练加速、调度方法，提升大规模分布式训练系统的训练效率。 3. 研究最新的大模型训练技术，持续应对技术挑战，推动训练系统迭代。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责多模态大模型的研发和应用，探索超大规模模型，进行极致系统优化；研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力； 2、数据建设、指令微调、偏好对齐、模型优化； 3、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 4、在未来生活中的更多使用场景的深入研究和探索，研发以人工智能技术为核心的新技术、新产品；满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责多模态大模型的研发和应用，探索超大规模模型，进行极致系统优化；研究相关技术在豆包、智能助手、智能硬件等领域的全新应用和解决方案，包括而不限于多模态理解生成，视觉Agent等能力； 2、数据建设、指令微调、偏好对齐、模型优化； 3、相关应用落地，包括看图对话、问答、搜索、生成创作、逻辑推理、代码生成等； 4、在未来生活中的更多使用场景的深入研究和探索，研发以人工智能技术为核心的新技术、新产品；满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、建立下一代多模态模型评测体系，引导模型向AGI的方向发展：创建针对推理与交互的下一代多模态模型评测Leaderboard，包括而不限于图像理解，视频理解评估、视频流式、多模态交互评估、视觉CoT评估、世界模型评估方法，GUI/游戏等虚拟世界的通用多模态Agent评估方法； 2、对数据敏感，能对构造评测集数据有一些自己的深入的见解；根据数据的需求和用途，为数据集标准环节制定详实、全面、可执行的标准；参与构造可自动化的数据Pipeline，对数据集阶段性质检，迭代标注标准； 3、探索多模态大模型能力边界：追踪业界对于模型能力的边界拓展进程，持续迭代复杂度更高的评测集合，防止基准测试饱和模型过拟合； 4、优化评测工程链路与评测手段：探索自动化评测任务构造和自动化评估方法，提升模型评测效率。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、探索研究多模态理解、生成式、机器学习、强化学习、AIGC、计算机视觉、人工智能等前沿技术； 2、探索大规模/超大规模多模态理解与生成交织的基础模型，并进行极致系统优化；数据建设、指令微调、偏好对齐、模型优化；提升数据合成、Scalable oversight、模型推理、规划能力，构建全面客观准确的评测体系，探索提升大模型能力； 3、探索突破包括而不限于多模态RAG，视觉COT与Agent等在内的多模态模型、世界模型进阶能力，构建GUI/游戏等虚拟世界的通用多模态Agent； 4、利用预训练、仿真等技术对虚拟/现实世界的各类环境进行建模，提供多模态交互探索的基本能力，推动应用落地，研发以人工智能技术为核心的新技术、新产品。