字节跳动大模型训练优化研发实习生-Seed
任职要求
1、本科及以上学历在读，计算机、软件工程、人工智能等相关专业优先； 2、有至少其中一项技能/知识：熟悉一种训练框架、GPU编程、高性能网络/分布式并行、编译器优化、大规模数据处理、LLM/RL算法； 3、有好奇心，自驱力强，有较好的学习能力和沟通能力，编程能力强； 4、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。 加分项： 1、有大模型相关经验，在AI Infra、强化学习、AI Agent等领域进行过深入调研和探索； 2、有以下某一领域的经验：CPU/GPU体系架构，高性能计算/CUDA，分布式训练系统。
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。