阿里巴巴未来生活实验室-大模型训练算法专家(代码方向)-北京/杭州
社招全职4年以上地点:北京 | 杭州状态:招聘
任职要求
1. 技术能力 • 精通Transformer架构,熟悉LLM训练优化技术(如Megatron-LM、DeepSpeed); • 掌握代码解析与表征技术(AST、代码抽象语法树、静态分析工具); • 具备强化学习(PPO、DPO)、多智能体系统(MARL)实战经验; • 熟悉代码生成领域前沿技术(如Repo-Level Modeling、Self-Repair)。 2. 工程经验 • 有代码大模型训练经验(如CodeLlama、StarCoder、DeepS…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 基座模型能力建设 • 主导代码大模型(Code LLM)的预训练与优化,涵盖代码生成、补全、理解、翻译、调试等核心能力; • 设计高效的多语言代码表征架构(如Python、Java、C++等),支持长上下文学习(Long Context)与复杂逻辑推理; • 探索代码语料(GitHub、Stack Overflow等)与自然语言的高效对齐技术,提升模型对开发者意图的理解能力。 2. Agent协同与系统化落地 • 构建代码智能体(Code Agent)协作框架,整合代码解释器、测试框架、知识检索模块,实现多工具联合推理; • 开发动态任务调度策略,支持多智能体分工解决复杂编程问题(如系统设计、全栈开发、自动化测试); • 推动模型在类似Cursor的代码工具中落地,实现代码生成、智能补全、错误诊断、跨语言迁移等核心功能。 3. 多智能体代码系统 • 设计多智能体协同架构,支持代码生成、评审、迭代优化的闭环流程; • 探索智能体自主协作机制(如分工协商、结果校验、知识共享),提升复杂工程问题的解决效率; • 结合业务场景(如企业级代码库重构、自动化运维),打造端到端代码解决方案。
包括英文材料
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
强化学习+
https://cloud.google.com/discover/what-is-reinforcement-learning?hl=en
Reinforcement learning (RL) is a type of machine learning where an "agent" learns optimal behavior through interaction with its environment.
https://huggingface.co/learn/deep-rl-course/unit0/introduction
This course will teach you about Deep Reinforcement Learning from beginner to expert. It’s completely free and open-source!
https://www.kaggle.com/learn/intro-to-game-ai-and-reinforcement-learning
Build your own video game bots, using classic and cutting-edge algorithms.
还有更多 •••
相关职位
社招1年以上技术类-算法
1. 探索研究多模态理解、视频理解等方向的前沿技术; 2. 关注多模态、全模态大模型的后训练相关技术,研判RL在多模态理解上的潜力;
更新于 2025-08-27北京|杭州|上海
社招技术类-算法
1. 负责研发大语言模型强化学习算法,提升大模型在强化学习阶段的训练效率,以及提升大模型在数学、代码等自然科学领域的推理能力 2. 负责研发奖励和评价模型,包括细粒度的过程监督和奖励建模,覆盖复杂推理、指令遵循等各种任务 3. 参与后训练和推理阶段的Scaling Law研究,包括奖励模型训练、强化学习训练、推理阶段的Scaling Law
更新于 2025-06-19北京|上海|杭州
社招3年以上技术类-算法
团队介绍: LLM research 团队是隶属于阿里巴巴通义实验室的前沿研究团队,致力于解决大语言模型发展过程中的长期性、基础性挑战。我们的使命是打造具备通用智能的下一代AI系统,让模型真正具备深度推理、规划与复杂问题求解的能力,跨越任务与领域边界,从而在各类真实任务中展现可靠而深刻的智能。 1. 有效评估模型能力:建立系统性的评估方法与指标,准确刻画模型的行为表现与能力边界。 2. 探索模型的能力缺陷:挖掘当前主流模型在关键任务中的局限,理解其失败模式与成因。 3. 理解模型训练机制与问题:深入剖析大模型训练中的核心机制与潜在问题,为新范式设计提供理论支持。 4. 定义与探索更优训练范式:在实践中推动训练方法的演进,从而训练出更强大、更可靠、更智能的模型。
更新于 2025-09-04北京|杭州