阿里云阿里云智能-大模型训推加速平台研发专家/高级专家-北京/杭州
任职要求
● 扎实的工程能力，优良的编程风格，熟悉C++/Python或Rust、Zig语言和常用设计模式，熟悉常见GPU算子库，具备国产GPU卡编译优化经验者优先。 ● 熟悉深度学习基础理论，熟练应用PyTorch等框架。 ● 研发安全生产：具备代码审查、CI/CD、监控告警等工程规范意识，保障系统稳定性。 ● 业务需求理解能力：能将业务场景痛点转化为技术解决方案。 ● 优良的沟通表达能力和团队合作经验，具备快速学习能力和自我驱动力。 ● 熟悉计算机体系结构，有高性能Kernel开发（CUDA/Triton等）、推理引擎优化（vLLM\SGLang）、模型算法优化（量化/稀疏）或AI资源调度经验。 ● 项目管理能力：掌握敏捷开发等管理方法，有跨部门协作推动复杂项目落地的经验。 ● 熟悉云原生技术（Docker/K8S），有AI计算资源调度经验者优先。 ● 工作经验要求：3年以上高性能计算框架开发经验，主导过1个以上大型分布式系统建设项目；具备国产化算力平台适配经验（华为昇腾/寒武纪/百度昆仑芯等），有互联网大厂AI平台、全栈优化案例、云计算GPU虚拟化开发等经验优先、持有阿里云ACA/ACP/ACE认证证书者优先，具有开源社区贡献经验者优先
工作职责
● 设计和实现高效的训练推理框架，提升多节点、多GPU环境下特别是异构算力场景下的计算效率。具备良好的工程实践和算法理论基础，熟悉底层的硬件编程和常见GPU的算子库开发，能对算法的运行效率如速度、显存占用等进行优化，推动算法稳定、高效的运行。 ● 完善优化训练推理框架，针对市面上的国产信创卡能提出统一的优化方案，并推进在底层的通信效率、资源占用、稳定性方面持续建设。 ● 设计并实现能够处理大规模并发请求的系统架构，确保极端负载下的稳定性和性能。完善错误自愈机制，提升平台训练的MFU，打造行业内一流的异构算力混训混推GPU框架。 ● 技术方案设计：主导核心模块技术方案设计与评审，结合业务需求与系统现状，制定可落地的架构规划。 ● 基础服务开发：构建高可用、可扩展的基础服务组件，支持训练/推理框架的快速迭代与稳定部署。 ● 项目管理：主导跨团队协作项目的全生命周期管理，包括需求拆解、排期规划、进度跟踪与风险控制，确保项目高效交付。 ● 持续关注并跟进业界技术发展，比如超长上下文、端到端推理思维链、多模态等方向。
1. 负责百炼专属版大模型AI Infra产品定义、设计及商业化落地； 2. 制定产品策略以及商业策略，以业务成功为导向，协同研发工程师，售前架构师， 产品运营等多角色共同努力达成业务目标； 3. 深刻理解客户业务和场景需求，追踪行业发展趋势及技术发展动态，规划产品演进路径及迭代，保持具有持续产品力竞争优势； 4. 追踪标杆客户，确保技术可行性，以及对产品演进的持续反馈，沉淀最佳实践，标杆项目案例； 5. 收集客户需求，结合技术理解和研判，推动产品功能升级迭代，提升产品市场竞争力和市场占有率。
蚂蚁HCS 算力服务是全站通算，智算资源管理的基础设施平台, 通过Kubernetes等容器和平台技术，为上层业务提供云原生服务，AI算力服务，全局资源动态分配，调度节点单集群规模超过万台，同时致力于在系统、业务多个层面，包括os/kernel、容器/PaaS、智能调度/仿真容量等进行技术突破，提高容器系统规模化的资源利用效率，降低大促等各种大规模复杂业务场景下的资源成本，打造智能、高效、稳定的智算基础设施平台本岗位负责在云原生，AI快速发展的背景下，能够面向异构的物理资源，设计和实现大规模的k8s集群节点和资源的管理能力 ● 算力调度产品架构研发： 负责设计通算，智算的算力调度，优化的平台架构，实现算力的弹性伸缩，分时调度，能够设计训推混部的统一架构平台，实现算力资源有效利用 ● 节点池架构与异构资源管理：负责节点池架构设计，实现算力节点池的产品化管理能力，支持CPU/GPU等异构资源的统一调度与资源隔离，优化AI异构场景下的节点管理策略，提升大规模集群的资源利用率与任务执行效率。 ● 算力节点生命周期产品化管理：建设节点生命周期的全链路产品化能力，设计并实现节点故障预测与主动运维能力，支持算力节点与模型实例的自动化发现与自愈，能够保障算力的稳定和持续供给。 ● 技术创新与成本优化：探索云原生与AI技术结合的创新场景（如弹性节点池、智能调度算法），推动资源管理效率的持续提升。通过资源预测、库存优化等手段，降低集群运维成本与资源浪费
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与/负责研发面向大语言模型(LLM)/多模态大模型(MLLM)等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架； 2、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等； 3、与全公司各业务算法部门深度合作，为重点项目进行算法与系统的联合优化，支撑业务目标达成。