阿里巴巴未来生活实验室-大模型训练算法专家(代码方向)-北京/杭州
社招全职4年以上地点:北京 | 杭州状态:招聘
任职要求
1. 技术能力 • 精通Transformer架构,熟悉LLM训练优化技术(如Megatron-LM、DeepSpeed); • 掌握代码解析与表征技术(AST、代码抽象语法树、静态分析工具); • 具备强化学习(PPO、DPO)、多智能体系统(MARL)实战经验; • 熟悉代码生成领域前沿技术(如Repo-Level Modeling、Self-Repair)。 2. 工程经验 • 有代码大模型训练经验(如CodeLlama、StarCoder、DeepS…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 基座模型能力建设 • 主导代码大模型(Code LLM)的预训练与优化,涵盖代码生成、补全、理解、翻译、调试等核心能力; • 设计高效的多语言代码表征架构(如Python、Java、C++等),支持长上下文学习(Long Context)与复杂逻辑推理; • 探索代码语料(GitHub、Stack Overflow等)与自然语言的高效对齐技术,提升模型对开发者意图的理解能力。 2. Agent协同与系统化落地 • 构建代码智能体(Code Agent)协作框架,整合代码解释器、测试框架、知识检索模块,实现多工具联合推理; • 开发动态任务调度策略,支持多智能体分工解决复杂编程问题(如系统设计、全栈开发、自动化测试); • 推动模型在类似Cursor的代码工具中落地,实现代码生成、智能补全、错误诊断、跨语言迁移等核心功能。 3. 多智能体代码系统 • 设计多智能体协同架构,支持代码生成、评审、迭代优化的闭环流程; • 探索智能体自主协作机制(如分工协商、结果校验、知识共享),提升复杂工程问题的解决效率; • 结合业务场景(如企业级代码库重构、自动化运维),打造端到端代码解决方案。
包括英文材料
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
强化学习+
https://cloud.google.com/discover/what-is-reinforcement-learning?hl=en
Reinforcement learning (RL) is a type of machine learning where an "agent" learns optimal behavior through interaction with its environment.
https://huggingface.co/learn/deep-rl-course/unit0/introduction
This course will teach you about Deep Reinforcement Learning from beginner to expert. It’s completely free and open-source!
https://www.kaggle.com/learn/intro-to-game-ai-and-reinforcement-learning
Build your own video game bots, using classic and cutting-edge algorithms.
还有更多 •••
相关职位
社招1年以上技术类-算法
1. 探索研究多模态理解、视频理解等方向的前沿技术; 2. 关注多模态、全模态大模型的后训练相关技术,研判RL在多模态理解上的潜力;
更新于 2025-08-27北京|杭州|上海
社招3年以上云智能集团
● 设计和实现高效的训练推理框架,提升多节点、多GPU环境下特别是异构算力场景下的计算效率。具备良好的工程实践和算法理论基础,熟悉底层的硬件编程和常见GPU的算子库开发,能对算法的运行效率如速度、显存占用等进行优化,推动算法稳定、高效的运行。 ● 完善优化训练推理框架,针对市面上的国产信创卡能提出统一的优化方案,并推进在底层的通信效率、资源占用、稳定性方面持续建设。 ● 设计并实现能够处理大规模并发请求的系统架构,确保极端负载下的稳定性和性能。完善错误自愈机制,提升平台训练的MFU,打造行业内一流的异构算力混训混推GPU框架。 ● 技术方案设计:主导核心模块技术方案设计与评审,结合业务需求与系统现状,制定可落地的架构规划。 ● 基础服务开发:构建高可用、可扩展的基础服务组件,支持训练/推理框架的快速迭代与稳定部署。 ● 项目管理:主导跨团队协作项目的全生命周期管理,包括需求拆解、排期规划、进度跟踪与风险控制,确保项目高效交付。 ● 持续关注并跟进业界技术发展,比如超长上下文、端到端推理思维链、多模态等方向。
更新于 2025-07-14北京|杭州
