腾讯混元机器学习平台GPU调度研发工程师(深圳/北京)
任职要求
1.有大规模GPU集群资源/任务调度研发经验,了解不同规格GPU资源,熟悉GPU任务运行、容错、调度特性; 2.熟悉常见的task-scheduling调度模型和框架,了解排队论、动态规划等运筹学等基础原理; 3.熟悉Kubernet…
工作职责
1.参与腾讯太极统一GPU调度平台开发,负责万卡GPU集群配额管理、任务排队、弹性任务、跨集群等功能和性能优化; 2.优化异构AI芯片在多种任务作业之间的全局最优匹配,实现全局最佳利用率; 3.支持腾讯混元大模型、广告、视频号等众多业务场景的离线、在线GPU作业,保障平台高性能高稳定运行。
1.业务需求洞察与转化:; 2.深入对接业务线(如算法团队、司内业务部门),理解大模型在应用场景中的业务痛点,输出产品需求文档并推动优先级共识; 3.深入分析行业痛点(如客服、内容生成、3D建模等),输出定制化解决方案,推动产品适配性优化; 4.平台能力构建与体验提升:; 5.主导设计大模型全生命周期管理功能,涵盖数据标注、模型训练、效果评测、部优化等环节的核心模块,构建大模型全生命周期管理闭环,重点突破高并发训练、分布式推理、多模态模型兼容等能力; 6.设计面向开发者的低门槛工具链(如可视化Prompt编排、一键式模型微调),提升平台DAU/留存率; 7.端到端功能交付与落地; 8.独立负责功能从PRD设计到上线的全流程管理,协调研发、测试、算法团队资源,确保技术方案与业务目标的强对齐; 9.建立关键指标(如模型迭代周期、资源利用率、用户满意度),通过数据验证功能价值; 10.主导交付后的用户培训、反馈收集及问题闭环; 11.跨团队协同与项目管理; 12.推动业务方、工程团队、算法团队三方协作; 13.推动太极在腾讯生态产品(如微信、腾讯文档、腾讯会议)中的深度合作与能力共建。
1. 参与设计与研发快手公司级机器学习平台,赋能深度学习及大模型等核心AI的模型迭代; 2. 打造业界领先的机器学习自动化架构,支持模型开发、评估、部署、监控全链路智能闭环,集成模型版本控制、元数据管理等功能,支撑模型全生命周期管理,驱动核心业务指标持续突破; 3. 构建大模型分布式推理编排系统,实现多机角色调度,支持千亿级参数模型的分布式训练与推理任务拆分及协同计算; 4. 深度参与云原生AI基础设施的技术演进,研发包括:面向AI负载的预测式弹性伸缩系统,GPU资源调度与混部,高性能存储加速引擎等方向,持续推动云原生与AI技术的深度融合创新。
大模型具备很强的泛化及理解世界能力,在小红书内的众多生产场景遍地开花,大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上,如何能够通过高效的GPU调度策略,使大家不仅能丝滑地完成训练及部署任务,同时也能充分激发大规模GPU集群的效能,是行业公认的关键挑战。在这里,你可以聚焦LLM场景,接触到超大规模GPU集群,并使用真实负载数据进行深入分析及技术探索。欢迎加入我们,一起探索领先技术改变世界! 工作职责: 1、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段,提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态,探索建设业界领先的资源调度策略及方法,构建下一代大规模AI资源调度系统。