京东AI Infra软件开发岗（北京/深圳）
任职要求
1.具有 3 年以上 AI 基础架构、分布式系统、高性能计算（HPC）或大型云平台开发经验； 2.精通 Python，具备扎实的数据结构与算法功底，编码风格严谨； 3.加分项：深入理解 PyTorch/Megatron-LM/DeepSpeed 的底层实现源码及运行机制； 4.加分项：精通 GPU/NPU …
工作职责
1.参与京东跨境电商AI Infra技术架构体系建设，制定和推进架构规范的落实； 2.负责复杂技术项目的顶层方案设计，完成关键技术问题判断和事情的拆解； 3.调度系统优化：参与智算操作系统研发，优化 Kubernetes 或 Ray 的 GPU 资源调度能力； 4.高可用性保障：解决GPU集群的故障恢复（Fault Tolerance）与弹性容错（弹性 Checkpoint）； 5.效能与可观测性：构建集群效能评估模型，精准度量算力资源利用率（MFU/HFU）； 6.跟踪行业趋势和技术前沿，根据业务实际需求，为团队引入新技术和新方案。
负责AI平台、大模型平台及AI应用平台相关系统的设计与开发，聚焦智能Agent、RAG等前沿AI能力的工程化落地； 1. 涵盖机器学习系统模型训练、模型推理、资源管理、工作流、模型评估、数据处理、监控告警等功能模块开发； 2. 负责多种异构资源如GPU、CPU、RDMA等的最优化的编排调度，提升集群的整体资源利用率； 3. 解决开发过程中遇到的技术难题,确保项目按时交付； 4. 与算法团队密切合作，负责机器学习、深度学习算法模型的工程化、服务化以及产品化； 5. 负责平台的性能优化和稳定性保障,监控系统运行状态,及时发现和解决潜在的问题。 6. 大模型推理性能优化。
参与推荐系统 GPU 推理引擎的研发工作，支撑生成式推荐、排序、召回等业务场景的在线推理服务落地。参与 CUDA 算子开发与优化，包括算子融合、量化（INT8/FP8）、Tensor Core 使用、显存与访存优化等方向，持续提升单卡吞吐与推理延迟表现。参与推理图优化工作，基于 TensorRT / ONNX Runtime / TVM / Triton 等主流框架完成模型的图变换、算子替换、kernel 调优，协助推动模型高效上线。针对推荐模型的特点（稀疏 Embedding、变长序列、多塔结构等），协助完成定制化推理方案的开发与调优，解决 Host-Device 传输、KV Cache 管理等性能瓶颈。参与性能 profiling 与调优工作，熟练使用 Nsight、CUPTI 等工具完成性能分析，配合算法团队完成模型结构的性能评估。关注 GPU 推理、LLM Serving、推荐系统 Infra 的业界前沿进展（vLLM、SGLang、FlashAttention 等），积极学习并参与新技术在团队内的落地。
1.负责公司整体AI平台架构设计和AI工程化技术。通过AI基础设施和软硬件协同优化来提升公司大模型训练和推理的效率。负责前沿异构计算芯片、大模型推理优化、大规模训练的技术演进跟踪和落地。
1、负责公司模型基础设施的设计、开发、建设与落地，支撑各类AI模型的高效运行； 2、负责公司Agent Infra的搭建与迭代，优化Agent相关基础设施的性能与可用性，保障Agent生态稳定运行； 3、时刻关注模型基础设施、Agent Infra及相关系统的运行状态，参与平台值班，快速响应并处理各类运行异常，保障整体系统稳定可靠； 4、协助诊断线上系统故障，开展故障排查、性能优化工作，持续提升模型基础设施、Agent Infra的稳定性、响应效率与可扩展性； 5、参与AI Infra相关基础技术预研、工具验证，支撑团队技术选型，助力后续基础设施的迭代升级与技术创新。