阿里巴巴未来生活实验室-大模型训练算法专家(代码方向)-北京/杭州
社招全职4年以上地点:北京 | 杭州状态:招聘
任职要求
1. 技术能力 • 精通Transformer架构,熟悉LLM训练优化技术(如Megatron-LM、DeepSpeed); • 掌握代码解析与表征技术(AST、代码抽象语法树、静态分析工具); • 具备强化学习(PPO、DPO)、多智能体系统(MARL)实战经验; • 熟悉代码生成领域前沿技术(如Repo-Level Modeling、Self-Repair)。 2. 工程经验 • 有代码大模型训练经验(如CodeLlama、StarCoder、DeepS…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 基座模型能力建设 • 主导代码大模型(Code LLM)的预训练与优化,涵盖代码生成、补全、理解、翻译、调试等核心能力; • 设计高效的多语言代码表征架构(如Python、Java、C++等),支持长上下文学习(Long Context)与复杂逻辑推理; • 探索代码语料(GitHub、Stack Overflow等)与自然语言的高效对齐技术,提升模型对开发者意图的理解能力。 2. Agent协同与系统化落地 • 构建代码智能体(Code Agent)协作框架,整合代码解释器、测试框架、知识检索模块,实现多工具联合推理; • 开发动态任务调度策略,支持多智能体分工解决复杂编程问题(如系统设计、全栈开发、自动化测试); • 推动模型在类似Cursor的代码工具中落地,实现代码生成、智能补全、错误诊断、跨语言迁移等核心功能。 3. 多智能体代码系统 • 设计多智能体协同架构,支持代码生成、评审、迭代优化的闭环流程; • 探索智能体自主协作机制(如分工协商、结果校验、知识共享),提升复杂工程问题的解决效率; • 结合业务场景(如企业级代码库重构、自动化运维),打造端到端代码解决方案。
包括英文材料
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
Megatron+
https://www.youtube.com/watch?v=hc0u4avAkuM
DeepSpeed+
https://www.youtube.com/watch?v=pDGI668pNg0
强化学习+
https://cloud.google.com/discover/what-is-reinforcement-learning?hl=en
Reinforcement learning (RL) is a type of machine learning where an "agent" learns optimal behavior through interaction with its environment.
https://huggingface.co/learn/deep-rl-course/unit0/introduction
This course will teach you about Deep Reinforcement Learning from beginner to expert. It’s completely free and open-source!
https://www.kaggle.com/learn/intro-to-game-ai-and-reinforcement-learning
Build your own video game bots, using classic and cutting-edge algorithms.
还有更多 •••
相关职位
社招1年以上技术类-算法
1. 探索研究多模态理解、视频理解等方向的前沿技术; 2. 关注多模态、全模态大模型的后训练相关技术,研判RL在多模态理解上的潜力;
更新于 2025-08-27北京|杭州|上海
社招2年以上技术类-算法
你将加入阿里千问C端事业群的核心算法团队,直接负责千问、夸克AI问答等大模型产品背后至关重要的“大脑”——RAG(检索增强生成)系统。我们的使命是为大模型打造一个专属的、下一代搜索引擎,确保AI在回答用户问题时,能做到毫秒级响应、内容全面、信息时效性强且高度专业。 1、基于海量用户行为数据以及人工标注数据,结合信息检索、自然语言处理、大规模预训练模型等前沿技术,支持 通用RAG检索、垂直场景下的智能AI问答 等一系列业务 2、研究方向包括但不限于信息检索、大规模预训练技术、文本生成、模型蒸馏/窃取、强化学习等
更新于 2025-12-31北京