腾讯混元大模型算法研究员-模型评测
任职要求
1.解决问题能力： 具备基于第一性原理的卓越问题解决能力，能自主应对模型评测与诊断中的核心挑战； 2.评测分析经验： 具备从评测体系构建到深度性能诊断、评测结果分析的评测项目经验者优化； 3.沟通协作能力： 具备优秀的沟通协作…
工作职责
1.定义下一代评测范式：设计并建立一套能系统性地衡量大模型在开放、真实、复杂场景下的真实能力评测体系（包括不局限于Agent、Tool Use、Code、Search等），以科学地探索并定义模型的认知边界； 2.构建严谨、高效的评测数据体系：能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范，构建自动化评测数据合成算法，为整个评测体系提供高质量的数据基石； 3.评测算法研究：研究实现高效、精准的模型性能归因分析算法，准确定位模型薄弱区间。
负责通用AI大模型相关的评测与应用的规划、落地以及平台化能力建设，包括但不限于： 1.通用AI大模型评测基准的构建：建立覆盖文生文、多模态理解、多模态（音视频/3D/图/视频生成）生成等多模态的评测基准，设计全面、准确的多维度指标，构建自动化评测工具链，并随着模型能力的演进持续探索全模态的评测基准； 2.评测数据的自动化生产能力构建：基于数据泛化等能力，构建领域增强型评测数据集生产链路，支持多模态场景的自动化数据扩增与效果验证； 3.自动化评测与归因分析：探索并实现各个模态大模型的自动化评测与模型缺陷归因机制。
1.与数据标注团队紧密合作，深入了解业务需求，为数据标注工作提供专业的技术支持与指导。与算法研发团队、产品团队等协同工作，参与项目的全生命周期，从需求分析到产品上线，保障数据标注相关算法与功能的顺利实现； 2.针对文本、图像、音频、视频等多类型数据，设计并实现高效的自动 / 半自动标注算法，大幅提升数据标注效率与准确性。2）研究并应用前沿机器学习算法，如半监督学习、主动学习算法，降低数据标注工作量，提升标注数据质量； 3.标注模型持续迭代与优化：对模型进行持续调优，以适应不同项目的数据特点与标注需求，提高模型在数据标注任务上的性能表现。分析、评估模型/工具效果，提出针对性的改进策略，推动标注模型/工具的迭代升级。
1.负责生成式大模型预训练相关的工作，包括但不限于：大规模模型预训练，长文本预训练，线性模型结构探索； 2.探索与跟进前沿技术，寻求技术突破，推动机器在AIGC能力的提升和突破； 3.探索高效的模型知识嵌入方法以及模型知识在线学习更新； 4.探索文本模型预训练的scaling law，在小规模小成本下更精准地预测大规模训练后的表现。
1.带领团队进行前沿算法研究，专注于大模型中强化学习算法的设计与优化，涵盖强化学习算法、奖励建模、世界模型等多个方向； 2.在大模型的复杂推理等自主探索与学习等场景中进行大规模实验验证，推动研究成果在行业内的实际应用，并发表具有影响力的学术论文； 3.探索大模型的前沿技术，结合未来实际应用场景，提供创新的技术解决方案； 4.与跨职能团队合作，确保项目进展顺利，并在技术突破方面发挥领导作用。