哈啰大模型训推优化工程师
任职要求
1、精通C/C++、Python等至少一门编程语言，以及Linux下的系统开发经验 2、熟悉常用机器学习算法，对文本/多模态大模型相关领域模型，对llama、deepseek、qwen等模型有深刻的理解，熟悉TF/Pytorch等深度学习框架，有相关模型训练和模型效果优化者优先 3、熟悉大模型MegatronLM/De…
工作职责
1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优； 2、研究低bit量化、稀疏化attention等解码加速技术，在保障精度前提下显著降低计算资源消耗； 3、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。
1、负责文生图、文生视频等自研大模型核心算子的开发与性能优化，基于CUDA、OpenAI Triton等工具实现高性能计算加速； 2、针对MaaS平台AI Infra大模型推理场景，研发性能领先业界的推理引擎，通过研发框架优化、量化、算子优化等技术，大幅降低机器成本； 3、深入训练、微调、RL场景，研发前沿的优化技术，提升模型训练吞吐与资源利用率； 4、搭建端到端模型推理流水线，探索多模态生成任务下的算子融合、多种KVCache优化等创新优化手段。
1.支持算力引入评估，负责大模型训练、推理在新硬件上的评测及调优工作； 2.主导建设大模型训推稳定性体系，解决模型生产中的技术难题，提升大规模训推的稳定性和效率； 3.深入分析大模型训推特性，结合AI芯片和整机硬件系统，软硬协同充分发挥硬件效能。
1.算法平台大模型（含LLM）训练和推理优化工作：涵盖PD分离部署、检索增强生成（RAG）、智能代理（Agent）等前沿应用领域，推动技术与业务的深度融合。 2.性能优化：对AI模型训练和推理过程进行性能分析和调优，提升算法执行效率，包括但不限于算法加速、资源调度优化等。 3.工具开发：开发算法研发和部署过程中所需的工具和脚本，提高研发效率，实现算法工程化。 4.技术支持：为AI工程师和研究人员提供技术咨询和支持，帮助他们解决在算法研发过程中遇到的工程问题。 5.跨部门协作：与产品、研发、运维等其他团队协作，确保算法平台的稳定性和可用性。 6.技术研究：跟踪最新的AI工程化技术和趋势，将新技术应用到平台建设中，推动技术创新。
1、负责文生图、文生视频等自研大模型核心算子的自研开发与性能优化，基于CUDA、OpenAI Triton等工具实现高性能计算加速； 2、针对AI Infra大模型推理与训练场景，优化混合精度量化策略，设计低比特计算、稀疏化压缩等方案，提升模型部署效率； 3、深入GPU/Tensor Core硬件架构，优化显存管理、计算图调度及分布式通信，提升模型训练吞吐与资源利用率； 4、搭建端到端模型推理流水线，探索多模态生成任务下的算子融合、动态编译等创新优化手段； 5、协同算法团队完成模型轻量化落地，提供量化感知训练（QAT）、模型剪枝等技术支持。