希音大模型训推系统工程师（C++/python）
任职要求
1、熟练掌握Linux环境下的C/C++与Python语言，有大规模机器学习系统或搜广推推荐系统相关经验； 2、熟悉至少一种机器学习框架（Tensorflow/PyTorch/MxNet或其他自研框架）； 3、熟悉至少一种大模型训练/推理框架，包括但不限于：LLM、TensorRT-LLM、SGLang、Megatron-LM等； 4、具有独立解决问…
工作职责
【】 1、负责大模型训练和推理系统的研发与性能优化，包括但不限于：模型计算性能优化、训练集群调优、分布式大模型推理系统、大规模推理流量调度等； 2、负责解决系统高并发、高可靠性、高可扩展性等技术难关； 3、负责大模型训练和推理前瞻性技术架构的调研和引入，技术方案不限于子图匹配、编译优化、模型量化等； 4、负责异构硬件的引入与训练推理框架的集成，包括但不限于GPU、NPU、TPU等； 5、算法部门深度合作，进行算法与系统的联合优化。
负责公司音乐业务相关的算法组件工程化和性能优化相关的算法引擎工作，相关研发技术在抖音、国际化短视频、剪映CapCut、国际化短视频 Music、汽水音乐等产品中应用，满足音乐相关业务场景中的用户不断增长的智能音乐需求，全面提升用户在音乐相关的创作和消费场景的体验。 1、设计和研发业界领先的高性能算法引擎，提供满足音乐识别，音乐理解，大模型自研，大模型应用等场景的核心原子能力； 2、负责深度优化引擎，包括大模型训推加速，向量检索索引优化等常用引擎极致优化； 3、负责算法落地性能评估和分析，制定技术规划和性能标准，持续加强提升关键技术竞争力； 4、相关应用落地，包括音乐识别、音乐理解、对话助手、配乐推荐、音乐电台等。
● 参与以GPU等AI芯片为基础的高性能计算项目，深度分析GPU硬件体系结构，建设打磨极致的算子优化和显存优化等技术，逼近硬件理论性能峰值，突破大模型训推的显存墙，提升蚂蚁异构计算集群的硬件效率。 ● 针对蚂蚁大模型训推的性能和效率等问题，持续迭代算子库、显存优化技术和工具链，构建AI系统生态。 ● 持续跟踪行业前沿技术，参与开源社区的贡献。
-建设业界领先的AI异构算力容器平台，提供高性能、高稳定性、高易用性的百舸产品，支持AIGC、智算中心、金融、 -结合 SOTA 模型训练推理优化原理，深入模型结构与设计思路，将训练推理优化手段工程实践化，为客户提供系统性加速方案，提升训推效率 -在自研芯片上适配常见大模型，结合深度学习训推框架特性，开发或调优相关算子，提升模型在芯片上的性能和精度表现，辅助客户进行芯片选型和应用 -针对大规模异构集群场景下，探索训推任务管理、异构资源调度、虚拟化混布、容器存储、高性能网络、分布式训练和推理等技术的创新和应用 -探索业界最新技术方向，参与机器学习框架等开源社区，提升百度混合云AI核心竞争力
1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗； 3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。