蚂蚁金服蚂蚁集团-大模型预训练引擎研发专家-百灵团队
任职要求
1. 具有大模型并行策略/大规模分布式系统设计与研发优化经验； 2. 熟悉 CUDA、Cutlass 或主流通信优化原理，具备实际性能分析与调优经验； 3. 熟悉主流深度学习框架及分布式训练生态，包括但不限于 PyTorch、Megatron、DeepSpeed、Hugging Face； 4…
工作职责
百灵大模型预训练 Infra 团队负责百灵模型训练系统的建设与演进，聚焦大规模预训练场景下的效率、扩展性与稳定性问题。团队长期围绕训练加速、并行架构、系统瓶颈分析，与算法开展协同优化，支撑百灵模型在超大规模集群上的持续迭代。 我们的工作方向包括但不限于： 1. 大模型训练加速：并行策略、低精度计算、算子与显存优化、跨机通信、数据预处理； 2. 超大规模训练效率优化：面向万卡级场景研究 scaling 理论与系统性能上限； 3. 算法 / 系统 co-design：与算法团队协同设计和优化模型架构与训练策略； 4. 深度学习基础设施建设：参与蚂蚁容错系统 DLRover 的研发与演进。
1. 深入参与美团 GenAI 大规模基础设施建设 2. 负责美团大规模基座模型训练框架架构迭代，稳定性、易用性、可运维能力和可观测能力建设 3. 负责高达数万卡规模和数万亿参数的大规模训练性能优化
1、负责商业化风控垂域下预训练模型工作，参与构建风控大模型基座模型建设； 2、负责预训练模型的前瞻探索，包括但不限于语言模型、多模态模型； 3、完成预训练模型在实际业务场景中的应用并实现业务目标。
1）设计并实施大规模语料采集与处理系统，覆盖网页、书籍、代码、对话等多源异构数据； 2）制定数据清洗与去重等各类数据处理策略，提升语料多样性与质量； 3）开发数据质量评估与筛选体系，综合运用多维度方法对语料进行自动化打分与分级淘汰。包括困惑度过滤、质量分类器、内容安全过滤、数据配比与采样等； 4）主导合成数据的设计与生产，覆盖预训练增强与后训练两大场景，提升稀缺领域与长尾能力的数据覆盖，丰富推理、代码相关语料； 5）通过数据消融实验验证数据效果及数据配比策略，推动模型效果提升； 6）分析 MMLU / CMMLU / Humaneval 等开闭源训练指标，指导数据优化方向； 7）维护数据版本管理与数据血缘追踪系统，确保训练数据的可复现性。
1. 预训练语料策略与体系搭建，负责大模型预训练阶段的数据策略，覆盖通用语料、垂直领域语料的全流程数据方案设计。 2. 主导数据评估：建立清晰可量化的数据评估标准，提高评估效率；验证数据有效性，推动模型迭代； 3. 数据驱动的模型迭代，深度理解预训练技术原理，通过数据分析定位模型能力短板，制定针对性数据补充策略，推动模型技术迭代升级。 4. 前沿探索，保持对开源模型（如DeepSeek、Qwen等）及学术前沿的敏锐度,沉淀可复用的数据方法论,为团队提供中短期数据策略规划。 5. 与算法、技术团队合作开发数据工具链，主动发现问题，发起项目，管理数据生产团队,把控数据质量与项目进度,推动跨团队高效协作,确保数据按时高质交付。 6. 主导垂直领域语料体系的从0到1搭建（包括但不限于人文/学科/code等体系），能够定义各体系的质量标准，并设计可量化的评估指标。