腾讯混元大模型评测算法研究员（北京）
任职要求
1.计算机或者相关专业硕士或者以上学历，2年以上推荐/广告/CV/NLP/RL相关工作经验，有大模型调优化应用、评测经历者优先； 2.扎实的机器学习基础，能够熟练应用常用的机器学习模型解决实际的业务问题，有主流深度学习模型的项目(CV/NLP/推荐/广告/RL等均可）实践落地经验优先； 3.良好的逻辑思维能力, 数据分析能力，善于分析和解决问题； 4.在NearlPS，ICML、KDD、AAAI，IJCAI等机器学习领域会议或者期刊有第一作者发表过文章的优先。
工作职责
负责通用AI大模型相关的评测与应用的规划、落地以及平台化能力建设，包括但不限于： 1.通用AI大模型评测基准的构建：建立覆盖文生文、多模态理解、多模态（音视频/3D/图/视频生成）生成等多模态的评测基准，设计全面、准确的多维度指标，构建自动化评测工具链，并随着模型能力的演进持续探索全模态的评测基准； 2.评测数据的自动化生产能力构建：基于数据泛化等能力，构建领域增强型评测数据集生产链路，支持多模态场景的自动化数据扩增与效果验证； 3.自动化评测与归因分析：探索并实现各个模态大模型的自动化评测与模型缺陷归因机制。
1.与数据标注团队紧密合作，深入了解业务需求，为数据标注工作提供专业的技术支持与指导。与算法研发团队、产品团队等协同工作，参与项目的全生命周期，从需求分析到产品上线，保障数据标注相关算法与功能的顺利实现； 2.针对文本、图像、音频、视频等多类型数据，设计并实现高效的自动 / 半自动标注算法，大幅提升数据标注效率与准确性。2）研究并应用前沿机器学习算法，如半监督学习、主动学习算法，降低数据标注工作量，提升标注数据质量； 3.标注模型持续迭代与优化：对模型进行持续调优，以适应不同项目的数据特点与标注需求，提高模型在数据标注任务上的性能表现。分析、评估模型/工具效果，提出针对性的改进策略，推动标注模型/工具的迭代升级。
1.负责大语言模型（LLM）代码理解和生成相关的技术研究，提升大模型的代码基础能力； 2.跟进大模型代码领域的前沿技术，将其应用于研发生产中，持续提升大模型的代码能力； 3.负责大模型的代码相关的数据构建、训练调优及评测迭代，推进大模型技术在代码补全,Text2SQL,代码问答,代码Agent等业务场景落地。
1.负责LLM及AI搜索能力的模型/策略效果迭代，设计满足用户体验的理想态回复标准，并驱动数据生产和模型训练，达成体验/能力优化目标； 2.设计LLM及AI搜索的模型效果评估体系，进行系统化的效果反馈，质量监控，打造数据飞轮； 3.与上下游模型算法、工程技术、标注交付等团队紧密合作，完成策略迭代、效果评测，共同推进基础模型效果提升和产品化目标达成； 4.负责设计和制定完善的搜索策略评估体系，通过科学的评估方式定位问题并推动优化。
1、负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设； 5、站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。