小米AI训练平台高级研发工程师
任职要求
职位要求: 1. 精通Go/Python开发,具有大型分布式系统调度模块的架构设计经验,熟悉任务队列的底层实现原理 2. 深入理解Kubernetes调度机制,有Volcano/Kueue等批量调度框架二次开发经验者优先 3. 熟悉主流调度算法(DRF/Gang Scheduling/Fair Sharing等),有大规模AI训练任务调度优化实战经…
工作职责
1. 主导AI训练平台任务调度系统与队列管理架构设计,优化大规模分布式训练任务的资源调度策略与执行效率 2. 开发高并发任务调度算法,解决资源抢占、优先级调度、故障恢复等核心问题,保障万卡级集群资源利用率 3. 构建智能队列管理系统,支持弹性配额、动态优先级调整、故障任务自动迁移等高级功能,满足LLM/VLM等大模型训练需求 4. 负责调度系统可观测性建设与性能优化,培养调度领域技术团队
1、负责模型训练平台核心功能开发和架构设计,包括传统CN/NLP/SD/LLM等多场景支持 2、负责大模型后训练工具平台化建设,包括后预训练、微调、对齐等技术落地 3、设计和实现高性能分布式训练系统,打造端到端训练解决方案 4、优化训练调度和资源管理,提升集群利用率和训练效率 5、开发模型训练监控诊断工具,建设可观测性体系
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、负责大模型平台的架构设计和核心功能研发,构建云原生架构,设计高可用、高性能的微服务体系; 2、负责构建面向大模型全流程的DevOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地; 3、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段,提升GPU集群使用效率; 4、将平台和框架结合,通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率,涉及k8s/kubeflow、网络通信、分布式训练等; 5、优化各AI平台性能,提升系统稳定性和可扩展性,保障大规模并发场景下的服务质量与用户体验; 6、持续研究分析业内创新AI平台产品,优化技术方案,改进产品功能,提升创新能力与产品体验。
工作职责: 1、负责大模型平台的架构设计和核心功能研发,构建云原生架构,设计高可用、高性能的微服务体系; 2、负责构建面向大模型全流程的DevOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地; 3、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段,提升GPU集群使用效率; 4、将平台和框架结合,通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率,涉及k8s/kubeflow、网络通信、分布式训练等; 5、优化各AI平台性能,提升系统稳定性和可扩展性,保障大规模并发场景下的服务质量与用户体验; 6、持续研究分析业内创新AI平台产品,优化技术方案,改进产品功能,提升创新能力与产品体验。
团队介绍: "阿里巴巴国际数字商业集团的智能技术团队,负责阿里巴巴旗下多个国际化电商平台的搜索、推荐、广告、用增等技术。团队致力于将最前沿的AI技术与国际化电商业务问题深度结合,为用户打造更好更智能化的网上购物体验,同时赋能百万商家实现更高效的经营。 选择加入我们意味着投身入于高速发展的国际化电商业务,一起打造最先进的AI技术以驱动全球电商业务发展。" 职位描述: 1. 打造行业领先的AI工程平台: 设计并构建支撑算法模型高效迭代的标准化平台体系(特征平台、训练平台、在线推理框架等),打通算法创新与业务验证的“任督二脉”,加速模型价值落地。 2. 攻坚大模型工程化挑战: 深入探索生成式AI(AIGC)技术在实际业务中的规模化落地,主导大模型训练、推理加速、性能优化等核心工程难题的解决。 3. 开拓AI创新应用的边界: 积极探索AI在搜索/推荐/广告(搜推广)等核心场景的颠覆性应用(如生成式召回、生成式排序、行为大模型),以及AI Agent技术在智能运维、资源优化、智能客服助手等领域的创新实践,为业务创造新价值。