蚂蚁金服【蚂蚁星】大模型数据合成工程师
任职要求
1. 计算机、数学、AI相关专业硕士、博士; 2. 技术能力:熟练使用Python,掌握主流深度学习框架(PyTorch/TensorFlow); 3. 相关模型实战和研究经验(具备任一即可): 1)生成模型(GAN/VAE/Diffusion); 2)主动学习、课程学习算法实践; 3)数据估值理论(如Shapley值分析); 4. 加分项:顶会论文、有开源项目经验、参加知名竞赛并获奖。
工作职责
作为蚂蚁集团核心安全数据中枢,我们构建金融级全域智能安全防御体系,深耕风险防控、数据资产保护、网络攻防对抗、内容生态治理等关键领域。依托EB级全域安全数据资产与万亿级实时计算能力,为集团数字支付、数字互联生态、数金业务矩阵(网商银行、财富管理、保险科技)、数字科技输出及全球化业务提供全链路安全赋能。 我们依托先进的大数据分析技术和机器学习算法,深度挖掘数据中潜藏的风险与威胁,通过智能预测与主动防御机制,实现安全事件的精准识别与快速响应。持续追踪前沿技术发展,整合大数据、大模型和AI生成技术,成功打造了规模超千亿的多模态安全训练数据集。这些高质量数据集已成为集团大模型安全基础训练语料,广泛应用于大模型安全防御、大模型去毒及身份核验等关键安全领域。加入我们,你将有机会投身于前沿技术的研发与应用,亲身探索全球领先的科技创新成果。我们不仅提供行业领先的薪酬福利体系,更致力于为你营造专业、开放且富有活力的工作氛围。如果你对安全技术与数据应用怀有热忱,渴望在充满创新机遇与专业挑战的环境中实现职业成长,我们诚挚邀请你加入安全大数据技术团队!让我们携手共建智能安全新未来! 1.参与大模型预训练数据、sft数据、指令、CoT数据等样本处理计算和加工; 2.负责设计开发创新性数据合成算法,优化大模型训练中的高维稀疏数据表征与长尾分布处理; 3.负责搭建多模态数据生成工厂,探索文本、代码、图像的语义对齐与高质量合成,负责多模态数据分析与融合:处理文本、图像、音频等多模态数据,研发高效算法实现数据语义融合与精确解析; 4.设计先进的对抗式数据增强技术,提升噪声过滤精度并突破数据清洗瓶颈; 5.研究基于合成数据的大模型迭代机制,推动模型持续进化与提升性能。
团队主要负责蚂蚁集团大语言模型的语料优化,涵盖数据扩源、数据质量提升、合成语料、数据利用方式优化、数学/代码/推理/对话能力提升等多个方向。我们致力于通过数据驱动的方式打造业界一流的语言基座模型。 1. 负责大语言模型各阶段训练语料的优化工作,包括预训练、后训练、强化学习训练阶段,具体的工作包括体系化地扩展各类型的数据、定义并迭代优化数据质量、建设高效的合成语料技术、优化高质量数据筛选策略、优化数据配比及训练策略等; 2. 负责端到端地优化基座模型的各项关键能力,包括数学、代码、推理、对话等能力,具体工作包括扩展各能力相关的语料、定义并迭代优化数据质量、针对性地合成相关语料、优化高质量数据筛选策略、优化各阶段数据配比及训练策略、优化评测方式等; 3. 负责研发语料优化相关的基础设施,包括研发高效的数据处理算子及链路、构建数据标签体系及标注模型、探索数据与模型效果的关系、设计数据效果评估机制等; 4. 跟踪和研究大模型领域的前沿技术方向,包括但不限于语料优化、预训练和后训练算法、知识增强、数据合成等,推动技术创新并应用到基座模型训练中。
团队主要负责蚂蚁集团大语言模型的语料优化,涵盖数据扩源、数据质量提升、合成语料、数据利用方式优化、数学/代码/推理/对话能力提升等多个方向。我们致力于通过数据驱动的方式打造业界一流的语言基座模型。 1. 负责大语言模型各阶段训练语料的优化工作,包括预训练、后训练、强化学习训练阶段,具体的工作包括体系化地扩展各类型的数据、定义并迭代优化数据质量、建设高效的合成语料技术、优化高质量数据筛选策略、优化数据配比及训练策略等; 2. 负责端到端地优化基座模型的各项关键能力,包括数学、代码、推理、对话等能力,具体工作包括扩展各能力相关的语料、定义并迭代优化数据质量、针对性地合成相关语料、优化高质量数据筛选策略、优化各阶段数据配比及训练策略、优化评测方式等; 3. 负责研发语料优化相关的基础设施,包括研发高效的数据处理算子及链路、构建数据标签体系及标注模型、探索数据与模型效果的关系、设计数据效果评估机制等; 4. 跟踪和研究大模型领域的前沿技术方向,包括但不限于语料优化、预训练和后训练算法、知识增强、数据合成等,推动技术创新并应用到基座模型训练中。
团队主要负责蚂蚁集团大语言模型的语料优化,涵盖数据扩源、数据质量提升、合成语料、数据利用方式优化、数学/代码/推理/对话能力提升等多个方向。我们致力于通过数据驱动的方式打造业界一流的语言基座模型。 1. 负责大语言模型各阶段训练语料的优化工作,包括预训练、后训练、强化学习训练阶段,具体的工作包括体系化地扩展各类型的数据、定义并迭代优化数据质量、建设高效的合成语料技术、优化高质量数据筛选策略、优化数据配比及训练策略等; 2. 负责端到端地优化基座模型的各项关键能力,包括数学、代码、推理、对话等能力,具体工作包括扩展各能力相关的语料、定义并迭代优化数据质量、针对性地合成相关语料、优化高质量数据筛选策略、优化各阶段数据配比及训练策略、优化评测方式等; 3. 负责研发语料优化相关的基础设施,包括研发高效的数据处理算子及链路、构建数据标签体系及标注模型、探索数据与模型效果的关系、设计数据效果评估机制等; 4. 跟踪和研究大模型领域的前沿技术方向,包括但不限于语料优化、预训练和后训练算法、知识增强、数据合成等,推动技术创新并应用到基座模型训练中。
蚂蚁集团技术研究院致力于做有用、有想象力的科研,负责探索下一代前沿科技,帮助蚂蚁构建更具竞争力和可持续性的技术生态。 蚂蚁技术研究院数据智能实验室专注于通过下一代数据创新深化AGI前沿,这里汇聚了一群对人工智能充满热情的极客、科学家和工程师,核心成员累计学术引用量过万。 实验室拥有顶级资源支持包括但不限于海量高质量训练数据(万亿级Token,覆盖多领域、多模态);超大规模算力(万卡级GPU集群,支持分布式训练与高效调优);与全球顶尖AI团队(如DeepMind、OpenAI等)的深度合作机会等。 你将参与: - 下一代AGI大模型研发 a. 探索更高效的训练架构 b. 突破现有模型的推理与泛化能力 c. 研究多模态、因果推理、强化学习等前沿方向 - 构建新数据范式 a. math/code数据饱和后的后训练时代数据 b. 合成数据,突破全球可用数据上限 c. 多模态数据,构建空间数据与跨模态任务的核心引擎 - 技术创新与开源 a. 撰写高质量技术论文,推动学术边界 b. 构建开源工具链,降低AGI研发门槛 c. 与全球开发者社区互动,分享你的成果