阿里巴巴阿里控股-评测研发工程师-杭州/北京
任职要求
1. 评测框架开发：开发通用、代码、多模态、agent等多维度、多场景的自动化评测框架。 2. 评测集接入：深入理解业界主流的AI/Agent评测集，负责将其数据结构、评测逻辑和评估指标，并完成评测框架的适配迁移。 3. 系统可观测开发：评测任务执行与监控，负责大规模评测任务的部署、执行与监…
工作职责
1. 评测集接入：完成在评测平台上的评测任务开发，对齐数据结构、评测逻辑和评估指标，解决评测集接入过程中面临的各自问题，包括模型API、沙箱环境、网络访问、工具服务等问题。 2. 评测任务执行与对齐：负责大规模评测任务的部署、执行与监控，确保评测过程的稳定性和评测分数的准确性，为评测集方案专业性负责。 3. 结果分析与报告：对评测结果进行初步的数据清洗和格式化，为算法团队提供清晰、可靠的性能和trajectory数据报告，并能定位因适配问题导致的指标异常。 4. 评测任务Agent开发：利用Harness Engineering构建评测任务Agent，提升评测任务接入效率。 5. 评测集的构建：完成SWE类等高质量评测集的构建。
1、协同团队构建科学高效的AI大模型评测体系 · 协同推进大模型各主要方向（文本、多模态、Coding、智能体等）的评测框架设计，持续优化评测指标、数据集和评测方法； · 识别现有公开评测体系的局限性，探索并建设更真实有效的私有评测指标和数据集； 2、模型能力分析 · 与评测团队紧密协作，根据模型能力和实际需求设计、验证、持续迭代优化评测体系； · 结合评测结果对模型能力进行分析诊断，为管理团队和业务团队提供有价值信息； 3、关注业界前沿发展，持续迭代评测体系 · 持续跟踪全球大模型、Agent领域的技术发展和评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、协同团队构建科学高效的AI大模型评测体系 · 协同推进大模型各主要方向（文本、多模态、Coding、智能体等）的评测框架设计，持续优化评测指标、数据集和评测方法； · 识别现有公开评测体系的局限性，探索并建设更真实有效的私有评测指标和数据集； 2、模型能力分析 · 与评测团队紧密协作，根据模型能力和实际需求设计、验证、持续迭代优化评测体系； · 结合评测结果对模型能力进行分析诊断，为管理团队和业务团队提供有价值信息； 3、关注业界前沿发展，持续迭代评测体系 · 持续跟踪全球大模型、Agent领域的技术发展和评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系
1、设计AI产品评测体系 · 深入理解业务需求和AI应用场景，针对性的设计评测方法、指标和数据集； · 沉淀各类AI软硬件产品的标准化和个性化评测体系 2、产品能力分析 · 与评测团队紧密协作，根据产品能力和实际需求设计和迭代优化评测体系，并实际执行产品评测 · 结合评测结果对产品能力进行分析诊断，为产品迭代提供有价值信息 3、关注业界产品形态发展，持续迭代评测体系 · 持续跟踪全球AI大模型、Agent和应用产品的技术发展，关注评测体系变化 · 整合业界和头部厂商先进评测体系经验，转化为内部评测实践，持续迭代评测体系