小红书infra工程师-动态化（KMP）

负责构建支撑AI Agent全生命周期的核心基础设施，涵盖设计构建、训练优化、安全部署、高并发调度及服务化交付等，为Agent的规模化落地提供稳定、高效、安全的底层能力。 具体职责包括以下相关方向的一项或多项： 1.Agent基础设施：设计高并发、可扩展的Agent框架，覆盖沙箱执行、容器编排、任务调度及状态管理，支持训练优化与安全部署。 2.安全与稳定性：构建沙箱隔离与委托身份认证，确保API安全调用，并实现检查点恢复机制保障长任务可靠性。 3.平台服务能力：开发LLM上下文预计算、知识检索等优化能力，封装SDK/API（如向量检索、观测体系）提升推理效率。 4.AI能力产品化：模块化输出开发套件（如CLI/SKLLS），降低Agent构建与调优门槛，支持算法迭代优化。 5.技术前瞻与落地：跟踪Agent生态技术进展，推动新技术规模化应用，持续优化架构性能与易用性。 目标：通过高效、安全、先进的基础设施，实现AI Agent从开发到生产的全流程支持，加速规模化落地。

在这里，你将成为大模型技术落地的“幕后推手”。你将参与构建支撑千卡/万卡规模的 AI 计算基础设施，通过软硬件协同优化，解决大模型在训练、推理、调度全链路中的工程挑战。你的代码将直接决定大模型训练的效率、推理的响应速度以及集群资源的利用率，为 AI 时代的算力底座注入核心动力。 具体的职责包括以下相关方向的一项或多项： 1. 算力基建与分布式训练： ● 深入分布式训练架构，优化通信与底层算子性能，解决大规模集群通信瓶颈，提升模型训练的吞吐量与计算效率。参与研究新的训练框架和模式。 极致推理加速： ● 针对大规模推理场景，研发高性能推理引擎，通过kernel、框架、与算法结合的有损优化等手段，实现极致的低延迟与高并发。 2. 智能化资源调度与系统： ● 构建大规模 GPU 集群的统一调度与编排系统，实现算力资源的弹性分配与自动化调度，设计与优化面向 AI 计算场景的高性能通信、存储系统，保障海量任务的极致的效率。 3. 工程效率与平台化建设： ● 打造一体化的平台，覆盖大模型研发和迭代的全流程，降低模型迭代门槛，提升研发效能。

我们致力于打造面向搜推广场景 & 广告营销场景的业界领先AI Infra平台。团队贴合 阿里电商核心营销业务，承担着超大规模特征工程、深度学习与多模态训练推理、 AIGX & LLM 分布式训练与在离线推理、实时数据回流等关键职责，在高性能服务和优化、分布式计算和存储系统、并行与异构计算加速（CPU/GPU/XPU）和深度学习编译优化等课题上都具有业界最前沿的挑战。 希望你能够立足AI Infra方向，保持技术敏感性，推进基座大模型与广告-大模型结合的 AI Training & Inference 的系统级优化。在这里，你将接触到前沿的电商搜推广技术，以及有机会提前获得秋招直通T-Star的正式Offer。 岗位课题： 大模型 AI Infra 的 Algorithm-Training-Inference-Hardware co-design 课题项目背景： 面向广告业务的大盘提效（广告-大模型结合）、营销场景的 AIGX & LLM/MLLM，整体的大模型技术体系已经深度渗透到了日常业务迭代中，需要与算法协同解决基座模型（超大规模MoE）的 Training & Inference 系统性能与计算效率问题。 成长资源：计算机体系结构/计算机网络领域的博士及大模型技术相关算法工程化领域senior/staff engineer 的贴身指导；业界最前沿问题、世界级业务场景的落地挑战；不光做系统，通过 Algorithm-Training-Inference-Hardware 协同设计，还能深入理解算法与硬件。 岗位职责： 1. 超大规模Sparse-Dense模型（for 广告）和Dense大模型（for GenAI应用）的训练架构设计优化并推动生产落地。 2. 大规模异构硬件Training系统的计算性能与效率优化。 3. Algorithm-Training-Inference Co-Design，整体提升模型效率。

AI 时代的到来为云计算的进一步发展提供了前所未有的广阔舞台，为云计算基础设施带来全新的机遇和挑战。加入我们一起打造 AI 时代持续领先的计算基础设施，依托阿里自研神龙虚拟化架构、CIPU处理器、灵骏智算、以及业界领先的云计算调度能力和容器化管理能力等，你将参与构建支撑亿级计算核心、十万卡级 GPU 集群的规模的 AI 计算基础设施。 我们致力于通过软硬件协同优化、虚拟化与容器化技术创新，解决模型训练、模型推理，Agent、超大规模资源调度全链路中的极致工程挑战。你的代码将直接运行在阿里核心的计算产品中——决定大模型分布式训练的通信效率、推理引擎的响应延迟、GPU 集群的资源利用率，以及百万级服务器的弹性调度与智能运维。加入我们，全球顶尖 AI 模型注入最强劲的算力引擎！ 具体的职责包括以下相关方向的一项或多项： 1. 算力基建与分布式训练加速： ● 深入分布式训练架构，优化集合通信（AllReduce/AllGather）与底层算子性能，解决大规模集群通信瓶颈，提升模型训练的吞吐量与计算效率；参与研究新的训练框架和并行模式（DP/TP/PP/EP）。 ● 针对大规模推理场景，研发高性能推理引擎，通过 Kernel 优化、KV Cache 管理、框架改进与算法协同优化等手段，实现极致的低延迟与高并发。 2. 高性能网络与通信基础设施： ● 研发面向 AI 超算的大规模高性能网络（200G/400G/800G）及通信基础设施, 优化降低分布式训练与推理的网络传输延迟。 ● 负责 AI/高性能计算所需的高性能分布式通信框架研发，优化容器网络性能，保障海量任务的极致通信效率。 3. 加速计算与 GPU 集群管理： ● 持续探索前沿 GPU 架构设计与技术，结合业务需求构建高可用、高可靠、可扩展的加速计算技术体系。 ● 构建加算计算算力统一管理系统，实现智算集群中 GPU 资源的全面监控、质量巡检、故障预测与性能水平标定（SLO），保障算力资源的稳定一致性。 4. 虚拟化与系统软件研发： ● 在 Intel/AMD/ARM 等新硬件平台进行 Hypervisor 关键特性研发，使能硬件加速能力（VT-x/EPT/SR-IOV），基于 DPU/CIPU 的加速与卸载方案研发，降低虚拟化性能开销。 ● 负责云平台 CPU 调度器/内存管理系统/IO 资源虚拟化的设计研发与优化，提升资源利用效率与运维弹性，为Agentic AI提供可靠、高效、低成本的执行环境。 ● 基于 TDX/SEV 等硬件安全能力，打造面向 AI 场景的机密计算解决方案，保护云上租户的模型与数据安全。 5. 容器化调度与编排优化： ● 深度优化 Kubernetes 调度器，实现面向 GPU 拓扑感知的算力分配，解决大规模分布式训练任务的资源碎片化问题。 ● 研发面向 AI 推理与 Agent 运行的轻量化沙箱算力，实现计算资源的极致弹性与高密部署。 ● 设计并实现面向 AI 工作负载的弹性调度策略，通过多级缓存、预加载等手段，实现 AI 任务与 Agent 的秒级快速拉起与自动伸缩。 6. 智能化集群管理与 AIOps： ● 构建超大规模基础设施的智能化集群管理系统，涵盖资源调度、监控报警、自动化运维等核心能力，实现算力资源的弹性分配与自动化运维闭环。 ● 设计研发自主智能运维 Agent，通过自动故障感知、根因定位与自愈决策闭环，提升大规模集群的运维效率与稳定性。 7. AI 工程平台与效率提升： ● 打造一体化的 AI 研发平台，覆盖大模型训练、推理、调度的全流程，降低模型迭代门槛，提升研发效能。 ● 探索 Serverless 等新场景下面向 AI 计算的解决方案，设计研发基于 AI 的智能应用弹性及资源弹性产品能力，推动端到端弹性伸缩优化。"