通义大语言基础模型 post-training 算法工程师
任职要求
1. 来自全球Top高校计算机科学、人工智能、机器学习、深度学习、软件工程、相关领域应届毕业生，博士/硕士毕业生优先。 2. 在深度学习、大规模模型训练、优化算法、生成式模型、自监督学习等领域有扎实的理论基础和实践经验，并至少在其中一个方向有学术成果或项目经历。 3. 在国际顶级计算机会议/期刊（如NeurIPS、ICML、ICLR、ACL、TPAMI等）以一作身份发表论文，或在开源社区、计算机领域竞赛中有突出研究成果和…
工作职责
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于在蕴含丰富世界知识的预训练模型的基础上，利用post-train技术打造出能够服务人类的AI模型。通过RL、SFT、RFT等技术，探索大模型潜能的同时，塑造大模型的能力与性格。重点探索大模型的推理能力，实现深度思考，并致力于提升其 agent 能力，让大模型服务于真实世界的任务。 工作职责： 1. 探索更多可Scalable的Verifier信号，并通过RL提升模型的各项能力。 2. 提升reward model在创作、人类偏好、指令遵循等各专项上的能力，减少reward hacking和bias。 3. 研究reasoning path压缩和外推，实现更高质量的推理思考。 4. 将LLM的推理能力和 agent以及其他模态相结合，探索统一模态的reasoning。
通义千问（Qwen）是由通义实验室自主研发的超大规模语言模型，具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型，涵盖参数量从亿级到万亿级的基座大语言模型，并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成，从逻辑推理到内容创作，从单一多模态到全模态统一理解生成，Qwen 正在打造全球领先的全模态模型技术体系，推动AI在企业服务、开发者生态、个人用户等领域的深度应用，引领下一代人工智能的发展。 团队致力于打造世界一流的预训练 LLM 基座，开发涵盖参数量从亿级到万亿级的基座模型，并作为 Qwen系列模型的基座。团队追求将现有的预训练技术做到极致，并积极探索下一代的预训练技术。 工作职责： 1. 预训练数据：大规模预训练数据合成技术探索、STEM & reasoning 优化、长尾知识优化、精品数据挖掘过滤、自然数据 scaling、长文本优化、面向test-time scaling的数据优化。 2. 预训练策略：新型预训练损失函数探索、遗忘对抗与持续学习、optimizer 优化、lr scheduler 优化、课程学习、scaling law预测、超参优化。 3. 模型结构：新型模型结构探索、模型可解释性、MoE 优化、参数扩展与裁剪蒸馏、线性注意力、动态稀疏注意力、draft model优化、动态计算优化、KV cache压缩、长序列优化、decoding 加速等。
1. 负责腾讯音乐内容业务的AI技术研发，聚焦音乐内容生产与运营提效等场景，构建核心技术体系，通过AI能力赋能内容创作及业务运营等全流程； 2. 负责跟进行业内领先的大语言模型技术，包括但不限于提出新的技术框架、改进现有的算法，持续提升相关技术指标 3. 负责参与和推动相关技术在业务上的落地。
1. 负责大语言模型（LLM）在人形机器人中的算法设计与开发，将LLM应用于机器人的对话、环境感知与人机交互任务 2. 参与大模型从预训练到后训练的全链路流程，深入分析模型对数据的敏感点，通过数据迭代与合成技术推动模型能力提升 3. 基于主流的大规模数据处理框架，参与搭建高效的数据处理 Pipeline，从海量原始数据中“炼金”，让它们转化为可直接驱动模型训练的高质量数据 4. 跟踪前沿研究，推动新技术在产品中的落地应用，根据业务需求，有机会参与LLM团队针对语言模型后训练RL框架的搭建与优化