蚂蚁金服蚂蚁集团-蚂蚁技术研究院-深度学习/大模型算法研究员
任职要求
1、教育背景优秀,计算机相关专业博士毕业; 2、有较好的计算机科学和算法基础,编程能力强,熟悉分布式训练框架; 3. 有大模型、深度序列模型、深度生成模型、知识图谱、深度学习框架研发等相关技术经验者优先; 4、产出需在论文、开源、比赛成绩、项目上满足1条或者多条; a、在诸如ICML/ICLR/NIPS、ACL、CVPR/ICCV/ECCV等相关会议有相关论文发表者优先; b、在顶会组织或者行业组织且有广泛影响的比赛KDDCup、Kaggle并取得前3好成绩者优先; c、有开源项目影响力或者参与过开源项目者优先; d、有作为主力推动或者参与的有较大影响的项目结果产出; 5. 在大厂有相关实习或工作经历者优先; 6. 较强的表达和沟通能力,工作认真、严谨、敬业。有强烈的责任心和自驱力。
工作职责
蚂蚁集团是世界顶尖互联网金融科技公司。蚂蚁集团技术研究院致力于做有用、有想象力的科研,负责探索下一代技术前沿,帮助蚂蚁构建下一代技术发动机。 蚂蚁技术研究院深度学习实验,由在深度学习、大模型领域有广泛影响的学者领衔,致力于下一代高准确性、高效率AGI大模型研究和探索,实现世界级的技术创新和影响。团队成员深耕深度学习、大模型领域多年,多位成员具有上万的学术引用。 实验室技术氛围浓厚,适合有探索精神和挑战精神的青年才俊。在这里,你有充分的训练资源和数据资源,有专业的讨论和指导,有和世界领先高校和实验室交互的机会。在优质的成长环境中,可以让你快速成长。 职位描述: 参与下一代AGI大模型的探索和研究,包括但不限于算法创新;技术创新论文的撰写;开源对外;国际会议技术影响交流等;
1. 构建百亿-千亿级参数大模型的工业化数据管道原型系统,主导预训练数据(多语言/多模态)的数据质量治理体系设计,开发数据去噪、清洗、打标、去偏和毒性检测算法 2. 构建大模型多维度评估体系:开发面向领域任务的细粒度评估框架,设计红蓝军对抗性测试集,在细粒度层面建立能力-数据关联分析模型 3. 构建大模型Agent应用场景的交互数据闭环系统,开发自动化数据标注、推理轨迹数据监督和治理、幻觉检测和消除等技术模块 4. 研究预训练和后训练的数据智能新架构、新流程和新算法,包括但不限于小样本数据蒸馏、课程学习策略优化、数据价值量化评估等,并实现先进方法的工程化落地 5. 研究基于LLM的合成数据生成框架,探索多模态数据合成(代码/数学推理/跨模态对齐)方法,探索多模态思维链合成增强、对抗性和合作性数据增强等技术路线
强化学习是提升大模型推理能力的重要范式。大模型本身参数量大,训练资源消耗高,加上强化学习算法流程复杂,要开发灵活又高效的强化学习系统有诸多挑战,而大规模强化学习基础设施又是开展强化学习算法研究的基础,目前需要以下方向的研究: 1. 高效灵活的面向大模型的强化学习训练系统:能够支持各种强化学习复杂算法,同时支持大规模多卡高效率稳定训练。 2. 复杂强化学习算法在大规模计算下的并行化:强化学习算法普遍需要串行计算,对于规模化(scale up)大规模训练带来诸多挑战,而规模化又是推理能力提升的关键,因此需要研究在规模化前提下的强化学习算法。 在本岗位,你将参与或主导相关领域的研究,并产出有影响力的成果并赋能业务部门。
蚂蚁集团技术研究院致力于做有用、有想象力的科研,负责探索下一代技术前沿,帮助蚂蚁构建下一代技术发动机。 蚂蚁技术研究院深度学习实验,由在深度学习、大模型领域有广泛影响的学者领衔,致力于下一代高准确性、高效率AGI大模型的探索,实现世界级的技术创新和影响。团队成员深耕深度学习、大模型领域多年,目前多位成员具有上万的学术引用。 实验室技术氛围浓厚,适合有探索和挑战精神的青年才俊。在这里,你有充分的训练资源和数据资源,有专业的讨论和指导,有和世界领先团队交互的机会。在优质的成长环境中,可以让你快速成长。 你将参与下一代AGI大模型的探索和研究工作,包括但不限于算法创新;技术创新论文的撰写;开源对外等。