哈啰大模型训推优化工程师
任职要求
1、精通C/C++、Python等至少一门编程语言，以及Linux下的系统开发经验 2、熟悉常用机器学习算法，对文本/多模态大模型相关领域模型，对llama、deepseek、qwen等模型有深刻的理解，熟悉TF/Pytorch等深度学习框架，有相关模型训练和模型效果优化者优先 3、熟悉大模型MegatronLM/De…
工作职责
1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗； 3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。
1、负责文生图、文生视频等自研大模型核心算子的开发与性能优化，基于CUDA、OpenAI Triton等工具实现高性能计算加速； 2、针对MaaS平台AI Infra大模型推理场景，研发性能领先业界的推理引擎，通过研发框架优化、量化、算子优化等技术，大幅降低机器成本； 3、深入训练、微调、RL场景，研发前沿的优化技术，提升模型训练吞吐与资源利用率； 4、搭建端到端模型推理流水线，探索多模态生成任务下的算子融合、多种KVCache优化等创新优化手段。
1.算法平台大模型（含LLM）训练和推理优化工作：涵盖PD分离部署、检索增强生成（RAG）、智能代理（Agent）等前沿应用领域，推动技术与业务的深度融合。 2.性能优化：对AI模型训练和推理过程进行性能分析和调优，提升算法执行效率，包括但不限于算法加速、资源调度优化等。 3.工具开发：开发算法研发和部署过程中所需的工具和脚本，提高研发效率，实现算法工程化。 4.技术支持：为AI工程师和研究人员提供技术咨询和支持，帮助他们解决在算法研发过程中遇到的工程问题。 5.跨部门协作：与产品、研发、运维等其他团队协作，确保算法平台的稳定性和可用性。 6.技术研究：跟踪最新的AI工程化技术和趋势，将新技术应用到平台建设中，推动技术创新。
1.算法平台大模型（含LLM）训练和推理优化工作：涵盖PD分离部署、检索增强生成（RAG）、智能代理（Agent）等前沿应用领域，推动技术与业务的深度融合。 2.性能优化：对AI模型训练和推理过程进行性能分析和调优，提升算法执行效率，包括但不限于算法加速、资源调度优化等。 3.工具开发：开发算法研发和部署过程中所需的工具和脚本，提高研发效率，实现算法工程化。 4.技术支持：为AI工程师和研究人员提供技术咨询和支持，帮助他们解决在算法研发过程中遇到的工程问题。 5.跨部门协作：与产品、研发、运维等其他团队协作，确保算法平台的稳定性和可用性。 6.技术研究：跟踪最新的AI工程化技术和趋势，将新技术应用到平台建设中，推动技术创新。
-结合LLM技术发展，优化分布式训练和推理框架的性能，各常见模型训推MFU优化到极致状态 -在自研芯片上适配常见的大模型与自驾模型，结合芯片特点做优化，充分发挥自研芯片算力 -探索前沿的训推优化技术，算法、框架、集群协同创新，构建有竞争力的大模型训推系统 -与业务团队协同，理解客户需求，驱动技术创新，业务持续突破