钉钉钉钉-AI Infra架构师-大模型训练方向
任职要求
1. 计算机科学、数学、统计学、自动化等相关专业本科及以上学历。 2. 熟悉Post-Training流程,深入了解RL领域,包括但不限于RM、PPO、DPO、GRPO等算法。 3. 具备大模型训练框架开发能力,包括pytorch、megatron等。 4. 具备强化学习框架开发能力,包括openRLHF、verl等。 5.具备一线的C++/Python工程能力,精通数据结构和常用算法,掌握各种编译、调试、性能分析工具,,熟悉并行编程(CUDA/Triton等)优先。 6.参与预训练优先
工作职责
1.post-training 框架研发,聚焦 LLM + RL 方向,设计框架架构与技术路线,提升其扩展性、稳定性与效率。 2.优化框架性能,如训练速度、显存占用等,降低训练成本,为 LLM + RL 训练提供有力技术支撑。 3.协同业务团队,将 LLM 能力在业务场景落地,根据业务需求定制训练方案并评估验证模型。 4.负责模型训练和推理所需的IaaS基础设施的规划、迭代与框架维护,致力于提供一致性、可扩展、高可靠的平台技术底座;
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作。 2、负责研发AI异构计算软件栈,通过结合不同硬件、高性能网络、缓存等技术,实现AI计算的全链路优化,助力打造高可靠、高性能、高效率的AI算力基础设施; 3、洞察人工智能及深度学习的发展趋势,积极参与下一代AI基础设施的设计与研发。
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作; 2、负责研发AI异构计算软件栈,通过结合不同硬件、高性能网络、缓存等技术,实现AI计算的全链路优化,助力打造高可靠、高性能、高效率的AI算力基础设施; 3、洞察人工智能及深度学习的发展趋势,积极参与下一代AI基础设施的设计与研发。
1.参与滴滴内部 post-training 框架研发,聚焦 LLM + RL 方向,设计框架架构与技术路线,提升其扩展性、稳定性与效率。 2.优化框架性能,如训练速度、显存占用等,降低训练成本,为 LLM + RL 训练提供有力技术支撑。 3.协同业务团队,将 LLM 能力在业务场景落地,根据业务需求定制训练方案并评估验证模型。 4.关注行业前沿,引入有价值的技术到公司框架和模型中,探索新算法与方法,推动技术创新。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环,具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀,基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务,支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地! 大模型训练方向: 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline; 2、研发支持多机多卡RL的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决RL算法在超长时序下的显存/通信瓶颈; 3、基于自建的训推引擎,落地公司统一的大模型生产部署平台,为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向: 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责多个业务场景中的模型压缩技术实现,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效; 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件,制定不同的模型压缩方案并在业务落地。 大模型推理方向: 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架; 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术,支撑各业务方向持续降本增效; 3、深度参与周边深度学习系统多个子方向的工作,包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向: 1、参与/负责AI推理/训练框架的底层性能优化工作,包括但不限于高性能算子、通信库开发与优化等工作; 2、参与/负责大模型计算引擎的研发工作,通过多种方式实现训推性能SOTA; 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向: 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作; 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作,实现万亿级并行推理系统; 3、为内部产品线提供解决方案,协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。