蚂蚁金服蚂蚁集团-AI推理引擎高可用工程师-杭州Z
任职要求
1. 具有扎实的编程基础，熟悉至少一种开发语言(java, c/c++, python，golang)。 2. 熟悉Linux操作系统，对Linux 系统、网络等基础设施层有一定的了解和知识储备。 3. 有大规模集群管理和业务管理、优化经验、产品或者业务高…
工作职责
1. 负责AI训练推理服务高可用方向工作，如推理框架、推理在线服务、训练平台、训练框架等。 2. 负责以上平台的集群的资源治理、数字化管理等平台的研发。 3. 通过软硬件协同优化和技术创新，为双11、双12大促，新春红包等重大活动的保障与业务护航。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、负责大模型平台的架构设计和核心功能研发，构建云原生架构，设计高可用、高性能的微服务体系； 2、负责构建面向大模型全流程的DevOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地； 3、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段，提升GPU集群使用效率； 4、将平台和框架结合，通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率，涉及k8s/kubeflow、网络通信、分布式训练等； 5、优化各AI平台性能，提升系统稳定性和可扩展性，保障大规模并发场景下的服务质量与用户体验； 6、持续研究分析业内创新AI平台产品，优化技术方案，改进产品功能，提升创新能力与产品体验。
1、深入理解直播搜索推荐产品和业务，参与业务迭代优化产品，支撑业务快速发展； 2、持续推进直播搜推工程架构迭代演进，针对当前问题痛点进行前瞻性设计和改造。 3、参与直播搜推工程全链路稳定性建设，提升系统性能，保障服务高可用。 4、探索AI和业务、系统的结合，推动AI创新产品的落地。
1、负责AI平台核心模块的设计、开发与迭代，构建高可用、高性能的AI开发与推理平台。 2、负责优化AI平台功能与用户体验，提升开发者效率。 3、针对AI平台的计算资源、模型推理性能进行调优，解决高并发场景下的稳定性与延迟问题。 4、主导或参与大语言模型的微调（Fine-tuning）、RAG知识库构建、Prompt工程优化及模型效果评估，提升模型在实时性、准确性和可解释性上的表现。 5、基于大语言模型（LLM）的实际业务场景（如智能问答、知识库应用、自动化流程等），完成模型服务化落地与性能优化。
# 关于我们 我们正在构建面向全球物流网络的 AI Agent 自动决策大脑。通过大模型（LLM）、智能体协同与自动化推理，让系统具备“感知-思考-行动-学习”的闭环能力，驱动“服务采购、干线运营、分单决策、全链路调度、端到端监控、成本分析优化”等核心业务系统的全面智能化，实现资源规划、智能分单、运力调度、异常自愈等关键功能。这是一个将前沿 AI 技术与真实商业场景深度结合的创新战场，是每天影响数百万包裹命运的生产系统。 # 主要工作内容 ● 设计并实现基于 LLM 的 AI Agent 架构，支持任务分解、工具调用、多智能体协同与反馈学习； ● 开发智能决策引擎，将业务规则、实时数据流与大模型能力深度融合，构建可解释、可干预的自动化系统； ● 主导 Agent Workflow 编排系统建设，优化 Prompt Engineering 策略，提升模型在物流垂直场景的准确性与鲁棒性； ● 推动 AI 能力与后端工程系统的无缝集成，确保高可用、低延迟、可监控的服务体验； ● 探索 RAG、Function Calling、Memory 机制等前沿技术在物流调度中的落地路径。