蚂蚁金服蚂蚁集团-推理引擎优化专家-北京/上海
任职要求
1. 负责大模型推理性能的分析与优化，针对蚂蚁核心业务场景，实施推理引擎的性能优化，提升推理效率。 2. 熟悉主流推理框架（如trt、sgLang等）的使用，具备一定的框架优化能力，能够针对业务需求进行定制化优化 3. 参与推理引擎核心模块的开发，能够快速学习新特性并推动技术落地。 4. 参与PD分离架构…
工作职责
1、研发面向云计算底座海量数据的大模型，包括但不限于代码大模型、全模态、大规模图学习等领域相关的大模型的应用算法研发； 2、参与大模型应用研发全流程的工作，包括但不限于模型算法设计、代码开发、训练、部署优化、调试、评测；技术创新如专利、论文的撰写；外部技术影响力交流等； 3、推动大模型在DevOps提效、内外部智能体业务应用、爆款AI原生应用、安全和技术风险防控等场景的业务落地；
1.负责主流大模型（DeepSeek、通义、LLaMA等）的全栈性能优化，涵盖模型架构优化、训练/推理框架调优及底层算子优化，提升模型在单机/集群场景下不同GPU/NPU硬件平台的运行效率 2.开发创新推理加速方案，通过投机采样算法改进、MTP机制优化等框架级特性，提升MOE架构模型推理效率；并通过优化集群并行推理场景的专家负载均衡、计算/通信 Overlap 等特性，提升集群级别的推理效率 3.完成 W8A8 等量化算法研发，并在框架层面支持量化模式下的 TP、EP 等并行模式的性能优化 4.针对多种计算架构（NVIDIA/AMD GPU、国产化 NPU 等）进行深度硬件适配，开发高性能算子库与内存管理组件，实现跨平台性能优化与资源利用率的提升
1.深度协同算法团队，主导深度学习算法端到端推理系统的架构设计与落地实践，聚焦高吞吐、低延时核心目标，攻克大模型推理工程化落地关键技术瓶颈； 2.针对大模型推理全链路进行性能瓶颈深度剖析，通过算子优化、量化策略、资源调度等手段实现推理吞吐最大化；建立性能 - 成本评估体系，制定资源利用率极致优化方案，实现推理成本可控化； 3.主导大模型推理框架底层架构优化，完善框架功能模块（如动态批处理、推理缓存、容错机制）；构建工程化能力体系，提升框架易用性（API 设计、配置化能力）与可调试性（日志系统、性能埋点、调试工具链），支撑大规模推理服务稳定迭代。
1、负责安全GPU推理引擎、GPU性能优化相关技术平台，解决安全大模型GPU部署的资源弹性、性能瓶颈问题 2、了解行业最新GPU、NPU等最技术优化方案以及在安全落地 3、带领团队完成Modelops平台相关项目管理，以及平台架构规划设计
● 设计和实现高效的分布式推理架构，提升多节点、多GPU环境下的推理速度和资源利用率。开发智能的请求调度算法，确保高并发场景下的最优响应时间和吞吐量。对推理引擎的运行时环境进行深度优化，减少延迟，提高整体性能。针对多种异构AI加速硬件（如NVIDIA GPU, AMD GPU, NPU等），对核心算子进行极致性能优化，最大化算力和访存带宽利用率。 ● 探索并实现极低bit量化技术和稀疏化，减少模型存储和计算资源消耗，同时保持推理精度。探索更高效的解码算法，提升生成任务的推理速度。 ● 设计并实现能够处理大规模并发请求的系统架构，确保极端负载下的稳定性和性能。引入容错机制、自动恢复和监控报警系统，保证系统的高可用性和稳定性。构建灵活的系统架构，支持动态扩展，以应对未来业务增长和技术演进的需求。 ● 持续关注并跟进业界技术发展，尤其是超长上下文、COT思维链、多模态融合等方向。积极尝试和探索新的推理优化方向，提出并验证创新性的解决方案。