商汤大模型训练系统实习生
任职要求
1.本科及以上学历、计算机、软件工程等相关专业优先； 2.有扎实的计算机科学知识，掌握Pytorch，具备良好的编程能力和代码风格。 3. 对AI大模型相关核心技术感兴趣, 对megatron deepspeed等大模型加速框架感…
工作职责
1. 参与深度学习框架的代码实现, 支持大模型训练和强化学习，提升系统速度和系统稳定性。 2. 持续扩充核心框架的功能和计算能力,优化系统的架构和模型设计。 4.调研分析海内外前沿技术实现，探索创新方向。
【团队介绍】 唯品会个性化工程团队，负责公司核心三大业务场景：搜索、推荐和用户增长。团队致力于打造业内领先的搜推效率引擎和用户增长引擎，践行“品牌特卖，就是超值”的业务使命，助力公司业绩和用户规模的持续增长。 传统搜推系统一般采用“召回-粗排-精排-重排”级联架构，每个环节都需要独立设计、维护和优化，复杂度极高，且容易导致各阶段优化目标不一致。随着大模型和生成式技术的快速发展，其强大的表征能力和良好的Scaling性质也为搜推系统提供了新的可能性。生成式搜推的终极目标是用一个强大的生成模型替代整个多阶段链路，打开模型决策空间，最大化平台收益。 1、生成式搜推训练框架：基于前沿大模型（如Transformer、HSTU、RankMixer等），设计生成式搜推模型的分布式训练框架，通过自顶向下的性能分析，优化数据/模型的高效并行处理和混合精度训练策略，构建业界领先的超大规模稀疏训练引擎，提升训练效率和线性加速比。 2、高性能推理引擎建设：面向 CUDA/CPU 等异构计算平台，深入优化推理性能，通过手写 CUDA / Triton 算子、算子融合、量化压缩及 XLA / MLIR 等技术，挖掘 GPU 硬件极致算力，打造一流的执行引擎。 3、搜推链路端到端重塑：超长行为序列与超大候选Item情况下，优化传统的多阶段网络传输架构，构建一体化硬件支撑的召回/排序/机制统一服务。
1、负责大语言模型、视频模型、多模态模型的预训练和强化学习框架研发与优化 2、与算法团队深度合作，进行算法与系统的联合设计与优化 3、保持关注行业前沿技术，且有能力和热情开展创新研究
1、负责大语言模型预训练、强化学习训练框架研发与优化 2、与算法团队深度合作，进行算法与系统的联合设计与优化 3、保持关注行业前沿技术，且有能力和热情开展创新研究
1. 围绕大模型异构训练集群，尤其是非NV GPU大规模异构硬件集群，面向大模型预训练、Finetune等场景进行新模型使能，系统分析/优化，业务支撑等工作，包括分布式优化框架，AI框架，网络集合通信，算子等方面内容 2. 参与美团机器学习平台建设，构建非NV GPU大规模训练场景软件栈和算法迭代Pipeline 3. 负责NLP类大模型的训练端到端流程，包括训练使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见生成式NLP类大模型，包括但不限于LlaMa 1/2, GPT, BLOOM等 4. 负责视觉类，多模态大模型的训练端到端流程，包括模型使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见的视觉类，多模态大模型，包括但不限于ViT，Swin Transformer，Stable Diffusion, MoE等 5. 负责大模型分布式优化框架的系统分析，性能调优，特性开发，问题定位等工作，支持常见的大模型分布式优化框架，包括但不限于Megatron, DeepSpeed, FSDP等 6. 负责PyTorch在非NV GPU场景下系统分析，性能调优，问题定位等工作 7. 负责常见的大模型训练场景下高性能Kernel算子的关键指标分析和统计，融合开发，性能优化等工作 8. 负责大模型不同规模卡数训练场景下集合通信/NCCL关键指标分析和统计，系统定位/调优等工作 9. 负责与NV GPU相同场景进行Benchmark评测，对比验证，性能分析等工作