腾讯混元大模型评测算法研究员（北京）
任职要求
1.计算机或者相关专业硕士或者以上学历，2年以上推荐/广告/CV/NLP/RL相关工作经验，有大模型调优化应用、评测经历者优先； 2.扎实的机器学习基础，能够熟练应用常用的机器学习模型解决实际的业务问题，有主流深度学习模型的项目(C…
工作职责
负责通用AI大模型相关的评测与应用的规划、落地以及平台化能力建设，包括但不限于： 1.通用AI大模型评测基准的构建：建立覆盖文生文、多模态理解、多模态（音视频/3D/图/视频生成）生成等多模态的评测基准，设计全面、准确的多维度指标，构建自动化评测工具链，并随着模型能力的演进持续探索全模态的评测基准； 2.评测数据的自动化生产能力构建：基于数据泛化等能力，构建领域增强型评测数据集生产链路，支持多模态场景的自动化数据扩增与效果验证； 3.自动化评测与归因分析：探索并实现各个模态大模型的自动化评测与模型缺陷归因机制。
1.定义下一代评测范式：设计并建立一套能系统性地衡量大模型在开放、真实、复杂场景下的真实能力评测体系（包括不局限于Agent、Tool Use、Code、Search等），以科学地探索并定义模型的认知边界； 2.构建严谨、高效的评测数据体系：能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范，构建自动化评测数据合成算法，为整个评测体系提供高质量的数据基石； 3.评测算法研究：研究实现高效、精准的模型性能归因分析算法，准确定位模型薄弱区间。
1.与数据标注团队紧密合作，深入了解业务需求，为数据标注工作提供专业的技术支持与指导。与算法研发团队、产品团队等协同工作，参与项目的全生命周期，从需求分析到产品上线，保障数据标注相关算法与功能的顺利实现； 2.针对文本、图像、音频、视频等多类型数据，设计并实现高效的自动 / 半自动标注算法，大幅提升数据标注效率与准确性。2）研究并应用前沿机器学习算法，如半监督学习、主动学习算法，降低数据标注工作量，提升标注数据质量； 3.标注模型持续迭代与优化：对模型进行持续调优，以适应不同项目的数据特点与标注需求，提高模型在数据标注任务上的性能表现。分析、评估模型/工具效果，提出针对性的改进策略，推动标注模型/工具的迭代升级。
1.负责大语言模型（LLM）代码理解和生成相关的技术研究，提升大模型的代码基础能力； 2.跟进大模型代码领域的前沿技术，将其应用于研发生产中，持续提升大模型的代码能力； 3.负责大模型的代码相关的数据构建、训练调优及评测迭代，推进大模型技术在代码补全,Text2SQL,代码问答,代码Agent等业务场景落地。
1.负责LLM及AI搜索能力的模型/策略效果迭代，设计满足用户体验的理想态回复标准，并驱动数据生产和模型训练，达成体验/能力优化目标； 2.设计LLM及AI搜索的模型效果评估体系，进行系统化的效果反馈，质量监控，打造数据飞轮； 3.与上下游模型算法、工程技术、标注交付等团队紧密合作，完成策略迭代、效果评测，共同推进基础模型效果提升和产品化目标达成； 4.负责设计和制定完善的搜索策略评估体系，通过科学的评估方式定位问题并推动优化。