阿里巴巴面向推理场景的通算&智算多业务融合网络技术-阿里星
任职要求
1、计算机专业、网络技术等相关专业优先； 2、精通计算机网络和网络编程，精通至少一门主流编程语言，比如C/C++、Python、Go等； 3、精通TCP/IP协议栈、DPDK、OVS等网络高性能传输技术； 4、熟悉DPU/IPU等相关软硬协同网络技术，熟悉当前网络和系统领域的新进展； 5、有数据中心网络、RDMA、用户态协议栈、NCCL，高性能通信框架等开发经验者优先； 6、有…
工作职责
1、负责AI智算推理场景网络架构方案设计，满足通算和智算实例之间、云服务访问、数据访问的低时延、高吞吐需求； 2、负责AI智算推理场景融合网络核心技术的验证和产品化研发； 3、通过DPU、可编程硬件等, 推动推理场景融合网络技术在阿里云智算场景的大规模部署。
1、参与智算数据中心网络稳定性平台研发，聚焦AI预训练/推理场景的故障监控、根因分析与自愈系统开发； 2、设计并实现AI-based troubleshooting模块（如异常检测、配置验证、故障预测），提升运维智能化水平； 3、构建训练任务全链路追踪能力，优化网络指标与模型训练效率的关联分析模型； 4、协同基础设施团队验证网络架构改进方案，推动AIOps技术在超大规模集群落地。
1.大模型推理与调度平台建设：主导多模态/LLM 推理服务化与模型调度中台建设，支持多模型共存、降级容错与弹性扩缩容，保障高并发低时延的线上推理体验； 2.推理加速与资源效率优化：推进推理加速与 GPU 资源复用等优化策略落地，提升模型利用率并降低单位推理成本； 3.模型成本治理体系：建设模型资源可视化与治理闭环，推动降本动作落地并形成可持续的成本优化机制； 4.服务端基础架构演进与全球化支撑：负责全球多 Region 架构规划与服务端架构演进，建设统一网关与用户服务体系，支撑业务快速迭代； 5.SRE 稳定性与可观测性建设：构建全链路监控与自动化运维能力，完善异常响应、容量管理与弹性扩容机制，提升平台可用性； 6.架构融合与平台化治理：推动团队多款 AI 产品服务端架构融合与服务复用，减少重复投入并沉淀统一能力。
1、负责研发软硬件协同的优化能力，提升阿里云训推场景在异构资源上计算性能，进一步提高资源利用率； 2、负责设计、实现、维护 AI 和高性能计算所需要的大模型推理场景的性能优化，聚焦模型通信场景的能力建设，完善集合通信、点对点通信等通信方式与推理框架的联合方案设计，推动提升推理性能。
1、分布式推理架构的研发，包括多机推理架构设计，P/D分离、A/F分离、VL模型分离架构的落地； 2、推理引擎服务化，包括推理引擎如何接入线上服务平台，自动扩缩容和可观测性的适配，以及提升线上服务稳定性； 3、多模态模型的推理功能开发和性能优化，包括对Qwen-VL、Qwen-Audio、Qwen-Omni等多模态输入/输出模型的功能支持和推理性能优化； 4、分布式 KV Cache Store 的设计与研发，构建高吞吐、低延迟的全局 KV Cache 池化管理机制，实现跨计算节点（显存/内存）的高效数据传输与共享。