京东AI infra研发工程师
任职要求
1. 具备AI基础设施整体架构设计能力，能够设计支撑多场景、可扩展的智能化系统并推动技术方案执行； 2. 拥有Agent框架与工具链开发经验，熟悉智能化任务编排与自主决策系统构建，能持续优化系统运行效率； 3. 具备系统性思维与前瞻性…
工作职责
1. 设计国际AI基础设施整体架构，支撑多场景AI能力沉淀与扩展； 2. 构建Agent核心框架与配套工具链，支持智能化任务编排与自主决策迭代； 3. 建立AI工程化开发规范与技术落地机制，统一团队技术标准与协作流程； 4. 搭建基础设施性能监控与优化体系，持续提升系统稳定性与运行效率； 5. 总结AI Infra建设经验，形成可复用技术文档并指导团队新人上手。
参与推荐系统 GPU 推理引擎的研发工作，支撑生成式推荐、排序、召回等业务场景的在线推理服务落地。参与 CUDA 算子开发与优化，包括算子融合、量化（INT8/FP8）、Tensor Core 使用、显存与访存优化等方向，持续提升单卡吞吐与推理延迟表现。参与推理图优化工作，基于 TensorRT / ONNX Runtime / TVM / Triton 等主流框架完成模型的图变换、算子替换、kernel 调优，协助推动模型高效上线。针对推荐模型的特点（稀疏 Embedding、变长序列、多塔结构等），协助完成定制化推理方案的开发与调优，解决 Host-Device 传输、KV Cache 管理等性能瓶颈。参与性能 profiling 与调优工作，熟练使用 Nsight、CUPTI 等工具完成性能分析，配合算法团队完成模型结构的性能评估。关注 GPU 推理、LLM Serving、推荐系统 Infra 的业界前沿进展（vLLM、SGLang、FlashAttention 等），积极学习并参与新技术在团队内的落地。
我们在做什么 ● 在AI与广告技术融合的最前沿，我们正在打造世界领先的AI广告系统，用技术驱动千亿级商业决策。每一行代码都将释放巨大商业价值！ 你将参与的核心项目 AI 训推 Infra 优化建设 ● 从稀疏传统广告模型 到 稠密计算大模型，从端到端训练 到 大模型微调，持续优化改造工业级模型训练框架。 ● 从GPU到PPU到AMD，针对高度复杂的异构计算资源和环境，优化构建万卡推理引擎，支持广告全链路大模型提效。 云原生架构赋能 ● 践行DevOps、ServiceMesh、Serverless-GaaS、落地AI运维、科学实验，为广告系统提供强大的基础设施。 ● 运用容器化、微服务构建弹性高可用的广告平台，管控海量广告引擎在离线资源 和 模型训推资源。 用 AI 重塑研发 ● 基于LLM和Agent构建高质量知识库，高效管理数据、代码、系统、文档知识，让AI成为你最靠谱的技术伙伴。 ● 从 需求理解、方案设计、代码编写、测试验证，到 生产发布、日常答疑、问题诊断，端到端实现AI研发赋能。 极致性能建模 ● 运用现代C++技术、CUDA等异构硬件编程技术，结合各种先进设施，构建毫秒级响应的分布式计算引擎。 ● 在训推之外， 探索GPU/PPU异构硬件在广告引擎各场景的优化落地，帮助业务提升RT/建模Scalingup空间。 业务赋能前沿 ● 参与广告产品 Agent重塑、AI·Targeting等 重大升级，帮助AIGA/AIGB/AIGC/LUM/MUSE 等算法落地，助力AI提升广告效果。 ● 从容应对海量流量峰值，大促日常化不是梦！ 加入我们 这里有开放、创新、追求卓越的团队文化 和 发展土壤: ● 你将与行业顶尖工程师并肩作战, 共同成长 ● 用技术改变商业世界，让AI赋能每一个决策 期待与你一起，在阿里妈妈创造属于我们的技术传奇！
1.GPU机型性能评估： 主导不同GPU芯片（含国产芯片及英伟达等国外AI芯片）的性能对比与适配评估，深入理解芯片架构并搭建配套的基准评估工具链； 2.训推框架开发与优化：基于云平台和业界常见训推框架，开发加速方案，满足公有云客户对性能的极致需求； 3.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势； 4.应用优化：参与重点项目POC和现网问题保障，分析性能瓶颈，快速定位和解决重点问题； 5.前沿技术探索：跟踪学术动态，将最新研究成果转化为框架功能，提升产品竞争力。
1.基于自研芯片，研发高性能推理与训练框架，解决芯片落地过程中的全链路问题； 2.能根据硬件特性和AI模型特点，不断迭代和完善框架性能和易用性、持续提升推理模型整网性能，和业务一起构建自研芯片软件生态。