腾讯混元-大模型评测研究及应用

1.定义下一代评测范式：设计并建立一套能系统性地衡量大模型在开放、真实、复杂场景下的真实能力评测体系（包括不局限于Agent、Tool Use、Code、Search等），以科学地探索并定义模型的认知边界； 2.构建严谨、高效的评测数据体系：能将对模型能力的理解转化为科学、严谨的数据设计与rubrics标注规范，构建自动化评测数据合成算法，为整个评测体系提供高质量的数据基石； 3.评测算法研究：研究实现高效、精准的模型性能归因分析算法，准确定位模型薄弱区间。

1.评测体系构建：通过紧跟先进模型及应用的前沿发展，设计全面、准确的多维度指标，建立覆盖多模态（语音/图/视频生成/编辑等）生成、多模态理解等全面、多维度的评测体系； 2.评测流程：熟悉大模型评测流程的实际执行与落地，协同多方相关团队高效完成评测工作，定期监控模型效果，分析问题并提供优化方案； 3.行业动态洞察：持续完善快速评测体系构建、快速反馈行业动态及模型能力，发现行业模型以及应用的前进方向、亮点； 4.结果归因：通过各种数据分析方法，深度分析模型评测结果，为大模型的更新调优提供精准的问题分析结论。

1.制定大模型后训练分Topic数据策略，搭建数据质量评估体系与数据生产标准，针对性优化数据短板，提升模型训练效果； 2.全面管理数据合成、数据质检、数据标注、数据运营小组，负责团队搭建、流程制定、任务统筹与绩效管控，保障数据高效高质量交付； 3.协同算法、研发团队，对齐模型训练需求，落地数据优化方案，跟进数据-模型效果联动优化，推动数据生产智能化升级； 4.把控数据合规与安全，统筹数据项目进度与目标达成，定期复盘数据质量与团队效能。

1.负责语音/音频大模型研发，包括音频理解（ASR/音频caption）、音视频理解等模型研发； 2.负责预训练、后训练、强化学习（文本和音频强化）相关的数据、算法、评测工作； 3.负责音频理解/ASR模型开源以及产品落地（比如产品全链路端到端优化、音频理解在噪音/口音/远场/音效音乐场景的优化）。