蚂蚁金服蚂蚁集团-大语言模型算法专家-北京/上海/杭州
任职要求
1. 学历背景：计算机、人工智能、数学等相关专业硕士及以上学历，博士优先。 2. 核心技能： (1）深厚的 NLP 算法功底，熟悉 Transformer 架构（Llama, Qwen, Ling 等）。 （2）熟练掌握 PyTorch，熟悉 Megatron-LM, DeepSpeed, FlashAttention 等分布式训练框架。 3. 实战经验： （1）拥有从 0 到 1 训练或微调过 10B+ 参数规模模型的经验。 （2）熟悉 SFT 数据构建技巧，能够通过合成数据（…
工作职责
1. 模型训练与调优：负责大语言模型的特定能力的指令微调及人类反馈强化学习的全流程研发工作。 2. 数据工程：设计并实施高质量的数据清洗、配比与增强策略，构建用于提升模型逻辑推理、代码生成或领域知识能力的特定数据集。 3. 模型评测与迭代（重点）： （1）构建完善的模型评测体系，深入分析模型在各类 Benchmark（如 C-Eval, CMMLU, GSM8K, MMLU, HumanEval 等）上的表现。 （2）针对模型在特定任务上的短板进行归因分析，并提出针对性的优化方案（如数据合成、Prompt Engineering、思维链 CoT 优化等）。 4. 前沿技术跟进：追踪 NLP 及 LLM 领域的最新学术进展（如 MoE 架构、Long Context、Agent 等），并快速复现与落地到业务场景中。
1. 负责研发大语言模型预训练技术，如高效的新型llm模型架构、长窗口训练技术、pretrain scaling law、高效预训练策略等。 2. 负责研发基于强化学习的推理模型，如大规模强化学习、新型RL算法、testing time scaling等。
1. 负责包括 SFT（监督微调）、Model Merge（模型合并）、OPD（在线/离线知识蒸馏）以及 RL（强化学习）在内的后训练算法研发与优化，探索更高效、更稳定的新型训练范式。 2. 提升大模型在Reasoning、General Agent 以及Coding Agent等专项任务上的上限，构建具备深度思考和自主行动能力的基座模型。 3. 模型架构探索与优化，探索更高效更有效的模型架构。 4. 训练与推理效率的优化，如算子优化、显存优化等，实现高吞吐、低延迟的模型研发和落地。
参与微信大规模语言模型（WeLM）的建设，涵盖训练流程的多个环节 1.探索大规模预训练模型的结构创新、优化器策略创新，提升单位算力下的智能获取效率 2.探索更高效全面的预训练数据建设方案、预训练数据使用方案 3.建设通用 Long-Horizon LLM Agent 的训练策略 4.独立或与其他研究员合作进行前沿领域研究。
1. 高质量垂域数据工程：深入优化垂直领域（如文本内容审核）的高质量数据构建与迭代方法论，持续提升数据的质量、多样性与生产效率。 2. 可扩展后训练体系：探索适配领域特性的 SFT/RL 算法，构建高效、稳定、可扩展的垂域模型后训练范式，系统性提升模型能力。 3. 前沿技术研究与落地：探索推理模型前沿技术（如高效蒸馏、reward system、agentic RL、test-time learning 等）以及模型可解释性技术，沉淀技术成果和影响力，并推动大模型相关技术在行业场景中的转化与落地，提升领域模型竞争力，支撑业务持续增长。