腾讯混元大模型数据标注领域专家(北京)
任职要求
1.本科及以上学历,具有3年以上大模型标注相关项目管理经验,计算机、统计学相关专业优先,其他专业领域背景者加分,如数学、英语、金法医、小语种等等; 2.出色的项目管理能力,合理制定项目计划、分解任务、分配资源,有效应对项目风险,确保项目顺利…
工作职责
1.负责大模型标注的全流程管理,高效承接大模型文本、图片、视频等数据标注业务需求,包括但不限于项目规划、需求分析、进度把控、资源协调以及质量保障,确保项目按时交付并达到预期目标; 2.数据质量把控:负责数据质量把控,梳理并分析数据质量的问题,优化质控方案,能够反哺和迭代标注标准,提升标注质量; 3.团队协作:支持项目经理和产研团队的相关工作,理解项目需求、模型表现和相应的数据实验,协同产研提高模型质量。
1.与数据标注团队紧密合作,深入了解业务需求,为数据标注工作提供专业的技术支持与指导。与算法研发团队、产品团队等协同工作,参与项目的全生命周期,从需求分析到产品上线,保障数据标注相关算法与功能的顺利实现; 2.针对文本、图像、音频、视频等多类型数据,设计并实现高效的自动 / 半自动标注算法,大幅提升数据标注效率与准确性。2)研究并应用前沿机器学习算法,如半监督学习、主动学习算法,降低数据标注工作量,提升标注数据质量; 3.标注模型持续迭代与优化:对模型进行持续调优,以适应不同项目的数据特点与标注需求,提高模型在数据标注任务上的性能表现。分析、评估模型/工具效果,提出针对性的改进策略,推动标注模型/工具的迭代升级。
1.负责LLM及AI搜索能力的模型/策略效果迭代,设计满足用户体验的理想态回复标准,并驱动数据生产和模型训练,达成体验/能力优化目标; 2.设计LLM及AI搜索的模型效果评估体系,进行系统化的效果反馈,质量监控,打造数据飞轮; 3.与上下游模型算法、工程技术、标注交付等团队紧密合作,完成策略迭代、效果评测,共同推进基础模型效果提升和产品化目标达成; 4.负责设计和制定完善的搜索策略评估体系,通过科学的评估方式定位问题并推动优化。
1.定义下一代评测范式:设计并建立一套能系统性地衡量大模型在开放、真实、复杂场景下的真实能力评测体系(包括不局限于Agent、Tool Use、Code、Search等),以科学地探索并定义模型的认知边界; 2.构建严谨、高效的评测数据体系:能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范,构建自动化评测数据合成算法,为整个评测体系提供高质量的数据基石; 3.评测算法研究:研究实现高效、精准的模型性能归因分析算法,准确定位模型薄弱区间。