字节跳动大模型训练优化研发实习生-Seed
任职要求
1、本科及以上学历在读，计算机、软件工程、人工智能等相关专业优先； 2、工程或机器学习算法有深厚的功底和经验； 3、历史上解决过难题，遇到难题时能静下心，没有畏难情绪，能查到底层，观察敏锐，逻辑清晰； 4、由衷热爱技术，有强烈的工作责任心，较好的学习能力、沟通能力和自驱力； 5、良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。 加分项： 1、熟悉LLM、NLP、CV、语音相关的算法和技术，熟悉大模型训练、Diffusion、RL算法者优先； 2、有以下某一方向领域的经验：高性能计算/CUDA，RDMA/通讯库，系统算法联合优化，异构加速硬件体系，分布式系统和大数据架构。
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。