字节跳动高性能优化实习生-Seed
任职要求
1、硕士及以上学位在读，计算机相关专业优先； 2、熟练使用Python与C++，有良好的数据结构和算法基础，了解计算机体系结构； 3、熟悉PyTorch/TensorFlow之一的训练框架，具备模型性能分析手段； 4、熟悉主流的并行编程以及性能优化技术，有CUDA开发经验，有使用NCCL/MPI进行分布式开发经验优先； 5、有DeepSpeed/Megatron等训练框架或TensorRT/TVM等推理引擎经验优先。
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代AI交互等、在中国、新加坡、美国等地设有实验室和岗位。 Seed团队在AI领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的AI研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过50个应用场景。 1、使用混合精度、算子融合、分布式计算等手段，加速AI4S模型的训练和推理； 2、与算法团队深入合作，使用AI模型解决材料与生物领域复杂科学问题； 3、跟踪业界的最新进展，与团队共同建立广泛深入的专业认知。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升超大规模训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、优化大模型训练效率，包括应用CUDA高性能优化、Data IO、分布式并行、通讯库优化等技术提升训练效率； 2、与算法团队合作，优化模型架构，提升训练的可扩展性，提升训练的稳定性与MFU； 3、多模态理解大模型与生成大模型全生产流程优化（数据处理，预训练，后训练，推理服务）。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、负责大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关； 2、覆盖机器学习系统多个子方向领域的工作，包括：资源调度、分布式模型训练、数据管理、高性能计算等； 3、负责机器学习系统前瞻技术的调研和引入，比如：最新硬件架构、异构计算系统、编译优化技术、强化学习RL/Agent环境交互技术等的引入落地； 4、与算法部门深度合作，进行算法与系统的联合优化。