美团大模型预训练架构工程师
任职要求
1. 有扎实的计算机理论基础，熟练掌握C++或Python语言 2. 熟悉CUDA或NPU编程经验优先，有RDMA实践经验优先 3. 深入了解PyTorch 或 TensorFlow等引擎的架构和运行原理，有深度定制经验优先 4. 有Megatron-LM、DeepSpeed 等大模型训练框架的优化经验优先 5. 深入理解大模型训练多维并行并行架构，如Tensor 并行…
工作职责
1. 深入参与美团 GenAI 大规模基础设施建设 2. 负责美团大规模基座模型训练框架架构迭代，稳定性、易用性、可运维能力和可观测能力建设 3. 负责高达数万卡规模和数万亿参数的大规模训练性能优化
1、负责商业化风控垂域下预训练模型工作，参与构建风控大模型基座模型建设； 2、负责预训练模型的前瞻探索，包括但不限于语言模型、多模态模型； 3、完成预训练模型在实际业务场景中的应用并实现业务目标。
1）设计并实施大规模语料采集与处理系统，覆盖网页、书籍、代码、对话等多源异构数据； 2）制定数据清洗与去重等各类数据处理策略，提升语料多样性与质量； 3）开发数据质量评估与筛选体系，综合运用多维度方法对语料进行自动化打分与分级淘汰。包括困惑度过滤、质量分类器、内容安全过滤、数据配比与采样等； 4）主导合成数据的设计与生产，覆盖预训练增强与后训练两大场景，提升稀缺领域与长尾能力的数据覆盖，丰富推理、代码相关语料； 5）通过数据消融实验验证数据效果及数据配比策略，推动模型效果提升； 6）分析 MMLU / CMMLU / Humaneval 等开闭源训练指标，指导数据优化方向； 7）维护数据版本管理与数据血缘追踪系统，确保训练数据的可复现性。
1. 预训练语料策略与体系搭建，负责大模型预训练阶段的数据策略，覆盖通用语料、垂直领域语料的全流程数据方案设计。 2. 主导数据评估：建立清晰可量化的数据评估标准，提高评估效率；验证数据有效性，推动模型迭代； 3. 数据驱动的模型迭代，深度理解预训练技术原理，通过数据分析定位模型能力短板，制定针对性数据补充策略，推动模型技术迭代升级。 4. 前沿探索，保持对开源模型（如DeepSeek、Qwen等）及学术前沿的敏锐度,沉淀可复用的数据方法论,为团队提供中短期数据策略规划。 5. 与算法、技术团队合作开发数据工具链，主动发现问题，发起项目，管理数据生产团队,把控数据质量与项目进度,推动跨团队高效协作,确保数据按时高质交付。 6. 主导垂直领域语料体系的从0到1搭建（包括但不限于人文/学科/code等体系），能够定义各体系的质量标准，并设计可量化的评估指标。
协助探索下一代大模型预训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型。 1）设计更高效的模型结构，提高给定数据量、计算量、参数量、序列长度等约束下的模型能力，如长序列能力、记忆能力、推理能力等。 2）探索更科学的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索更适合大模型的optimizer等。 3）研究模型结构和数据的耦合关系；探索预训练与上下游环节的联合优化；改进分阶段训练范式。 4）结合MLsys解决大规模训练和推理中遇到的卡点问题，实现算法和工程联合设计。