商汤大模型训练系统实习生
任职要求
1.本科及以上学历、计算机、软件工程等相关专业优先； 2.有扎实的计算机科学知识，掌握Pytorch，具备良好的编程能力和代码风格。 3. 对AI大模型相关核心技术感兴趣, 对megatron deepspeed等大模型加速框架感…
工作职责
1. 参与深度学习框架的代码实现, 支持大模型训练和强化学习，提升系统速度和系统稳定性。 2. 持续扩充核心框架的功能和计算能力,优化系统的架构和模型设计。 4.调研分析海内外前沿技术实现，探索创新方向。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、参与大模型训练场景编排调度系统和容错系统的架构设计、开发、优化工作，解决系统高并发、高可靠性、高可扩展性等难题； 2、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、硬件故障检测、强化学习RL/Agent环境交互技术； 3、与算法团队合作，进行框架与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、参与大模型训练场景编排调度系统和容错系统的架构设计、开发、优化工作，解决系统高并发、高可靠性、高可扩展性等难题； 2、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、硬件故障检测、强化学习RL/Agent环境交互技术； 3、与算法团队合作，进行框架与系统的联合优化。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、参与大模型训练场景编排调度系统和容错系统的架构设计、开发、优化工作，解决系统高并发、高可靠性、高可扩展性等难题； 2、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、硬件故障检测、强化学习RL/Agent环境交互技术； 3、与算法团队合作，进行框架与系统的联合优化。