阿里巴巴数据技术及产品部-大模型产品经理-应用评测领域
任职要求
1. 硕士及以上学历，有竞品大模型、应用策略产品经理、评测产品经历优先，有AI应用研发技术背景优先； 2. 能准确理解业务诉求，对用户体验敏锐，能通过独到的视角或科学的方法发现问题，推动业务指标达成和…
工作职责
1.评测体系规划：设计应用评测体系，制定综合衡量模型能力及用户体验的评测方案； 2.评测分析：负责阿里各类AI native应用模型评测工作，与算法、产品团队团队密切合作，提供评测报告、leaderboard等多种评测服务，分析AI应用短板，给出具体改进方案； 3.评测驱动：跟进业界最新评测进展，动态维护模型及应用评测评测集，定义待评测项驱动应用体验优化； 4.评测定义：具有产品sense，能够用用户角度将模糊的应用评测定义拆解为具体的、可量化的评测指标，基于评测主动引导算法及产品工作方向，为产品体验负责。
1.在阿里集团语音大模型及相关业务场景下，参与评测路线图的执行落地，负责所属方向在组件级、系统级、产品能力三个层次的体系建设； 2.设计新型评测方法论，将模糊的音质感知、对抗鲁棒性等维度转化为可标注、可量化、可复现的指标体系；并参与产品能力评测的具体落地，为业务场景实现场景化 Profile； 3.构建高吞吐量评测基础设施，把单次评测从手工脚本变成可调用的研究工具，支持模型团队的高频迭代节奏； 4.分析评测结果并归因模型缺陷，将技术发现转化为模型团队可执行的改进建议； 5.设计对抗性测试（红队测试），构建高质量评测数据集，并设计防数据泄露与防刷分机制，系统性发现模型边界 case； 6.定期独立横评所属方向的竞品语音能力，跟踪行业进展；参与方法论研究并产出顶级会议论文（ICASSP / Interspeech / ACL 等）；
1、负责Agentic大模型相关算法开发与优化，开发性能达到业界sota的Agentic大模型并能在实际业务场景中应用落地 2、针对Agentic模型的训练特点，探索Agentic数据的合成策略与后训练数据配比策略，探索稳定高效的Agentic RL 方案，持续迭代模型在Agent场景的应用性能 3、探索创新Agentic RL算法，撰写发表创新论文或技术报告，参与模型开源，和社区、学术界保持良好的交流。
1.在阿里集团语音大模型及相关业务场景下，参与输出侧与系统级交互评测路线图的执行落地，负责所属方向在组件级、系统级、产品能力三个层次的体系建设； 2.设计新型评测方法论，将模糊的音质感知、交互体验、对抗鲁棒性等维度转化为可标注、可量化、可复现的指标体系；并参与产品能力评测的具体落地，为业务场景实现场景化 Profile； 3.构建高吞吐量评测基础设施，把单次评测从手工脚本变成可调用的研究工具，支持模型团队的高频迭代节奏； 4.分析评测结果并归因模型缺陷，将技术发现转化为模型团队可执行的改进建议； 5.设计对抗性测试（红队测试），构建高质量评测数据集，并设计防数据泄露与防刷分机制，系统性发现模型边界 case； 6.定期独立横评所属方向的竞品语音能力，跟踪行业进展；参与方法论研究并产出顶级会议论文（ICASSP / Interspeech / ACL 等）； 7.示例研究方向（任选其一深入负责）：(1) TTS / 语音克隆方向——建立自然度、韵律多样性、中文声调多音字专项等评测方法论；(2) 系统级语音交互方向——建立延迟、全双工、打断、多轮记忆、情感、安全等评测方法论，含模拟用户测试与中文适配。
1. 标注规范与数据设计：负责主导 Code 方向标注规范的制定与持续迭代，覆盖代码生成、代码补全、debug、代码解释、代码审查等多类任务；设计 Agentic 场景下的标注框架，包括 multi-step reasoning、tool use、planning、self-correction 等复杂任务链的拆解与评估标准；基于模型表现与研究进展，持续优化标注指南，确保数据质量与训练目标对齐; 2. 数据质量管控：对标注员产出进行专家级审核，重点识别代码逻辑错误、安全漏洞、风格一致性问题；建立 Code / Agentic 数据质量评估体系，定义量化指标并追踪质量趋势；设计并执行标注一致性校验流程（IAA），提升跨标注员的数据稳定性; 3. 标注团队赋能：为标注员提供技术培训，将复杂的代码和 Agent 概念转化为可操作的标注实践；担任技术难题的终极裁判，解决边界案例和歧义问题；参与标注工具需求设计，提升代码标注效率; 4. 探索更科学的评测指标、更高效的评测方法。