阿里巴巴未来生活实验室-大模型训练算法专家（代码方向）-北京/杭州
任职要求
1. 技术能力 • 精通Transformer架构，熟悉LLM训练优化技术（如Megatron-LM、DeepSpeed）； • 掌握代码解析与表征技术（AST、代码抽象语法树、静态分析工具）； • 具备强化学习（PPO、DPO）、多智能体系统（MARL）实战经验； • 熟悉代码生成领域前沿技术（如Repo-Level Modeling、Self-Repair）。 2. 工程经验 • 有代码大模型训练经验（如CodeLlama、StarCoder、DeepS…
工作职责
1. 基座模型能力建设 • 主导代码大模型（Code LLM）的预训练与优化，涵盖代码生成、补全、理解、翻译、调试等核心能力； • 设计高效的多语言代码表征架构（如Python、Java、C++等），支持长上下文学习（Long Context）与复杂逻辑推理； • 探索代码语料（GitHub、Stack Overflow等）与自然语言的高效对齐技术，提升模型对开发者意图的理解能力。 2. Agent协同与系统化落地 • 构建代码智能体（Code Agent）协作框架，整合代码解释器、测试框架、知识检索模块，实现多工具联合推理； • 开发动态任务调度策略，支持多智能体分工解决复杂编程问题（如系统设计、全栈开发、自动化测试）； • 推动模型在类似Cursor的代码工具中落地，实现代码生成、智能补全、错误诊断、跨语言迁移等核心功能。 3. 多智能体代码系统 • 设计多智能体协同架构，支持代码生成、评审、迭代优化的闭环流程； • 探索智能体自主协作机制（如分工协商、结果校验、知识共享），提升复杂工程问题的解决效率； • 结合业务场景（如企业级代码库重构、自动化运维），打造端到端代码解决方案。
● 设计和实现高效的训练推理框架，提升多节点、多GPU环境下特别是异构算力场景下的计算效率。具备良好的工程实践和算法理论基础，熟悉底层的硬件编程和常见GPU的算子库开发，能对算法的运行效率如速度、显存占用等进行优化，推动算法稳定、高效的运行。 ● 完善优化训练推理框架，针对市面上的国产信创卡能提出统一的优化方案，并推进在底层的通信效率、资源占用、稳定性方面持续建设。 ● 设计并实现能够处理大规模并发请求的系统架构，确保极端负载下的稳定性和性能。完善错误自愈机制，提升平台训练的MFU，打造行业内一流的异构算力混训混推GPU框架。 ● 技术方案设计：主导核心模块技术方案设计与评审，结合业务需求与系统现状，制定可落地的架构规划。 ● 基础服务开发：构建高可用、可扩展的基础服务组件，支持训练/推理框架的快速迭代与稳定部署。 ● 项目管理：主导跨团队协作项目的全生命周期管理，包括需求拆解、排期规划、进度跟踪与风险控制，确保项目高效交付。 ● 持续关注并跟进业界技术发展，比如超长上下文、端到端推理思维链、多模态等方向。
1. 负责研发大语言模型强化学习算法，提升大模型在强化学习阶段的训练效率，以及提升大模型在数学、代码等自然科学领域的推理能力 2. 负责研发奖励和评价模型，包括细粒度的过程监督和奖励建模，覆盖复杂推理、指令遵循等各种任务 3. 参与后训练和推理阶段的Scaling Law研究，包括奖励模型训练、强化学习训练、推理阶段的Scaling Law
【部门介绍】 随着大模型技术的飞速发展，理解和生成多模态数据（图像、视频、音频、3D素材等）的能力日益增强。目前，构建能够同时进行输入和输出的多模态世界模型已成为业界的研究热点，也是实现通用人工智能（AGI）的重要技术路径之一。 通义万相（Wan）将持续在世界模型、原生多模态预训练、理解-生成融合范式、统一Tokenizer研究、人类反馈与强化学习等前沿技术方向上进行探索，始终追求在多模态世界模型领域的领先研究地位，致力于建立世界级的技术影响力。 【职位描述】 1. 负责通义万相多模态世界模型的Reward Model构建，包括但不限于：基模型评价维度和benchmark构建，构建强化学习Reward Model和有效RL算法，结合线上用户反馈挖掘模型缺点、持续迭代，实现和人类评测和偏好对齐。 2.负责通义万相多模态世界模型的数据建设，包括但不限于：视频、图像、音频、文本等多模态数据集建设，人类偏好数据pipleline建设，为图像模型、音视频模型、交互式世界模型等基础模型迭代提供有效数据供给。
大模型开启了崭新的智能化时代，代码智能化将是智能化革命的核心力量。围绕AI Coding，从code model到coding copilot再到coding agent，我们进行了深入的技术建设，打造了国内最受欢迎的智能编码助手通义灵码，并不断探索新的产品形态，欢迎一起来做改变世界的代码智能技术，具体详见：https://tongyi.aliyun.com/lingma 职位描述： 1. 负责软件工程大模型（Agentic LLM for Software Engineering）的训练和研究等，包括但不限于Agentic RL、Reward Systems、Environment Scaling等。 2. 打造自主编码智能体的核心技术，包括但不限于Memory、Context Engineering、Tools-use、Reasoning等。 3. 将上述技术在通义灵码及其他创新产品中进行大规模应用落地。