阿里巴巴晓天衡宇-大模型评测工程师-应用方向(北京)
社招全职3年以上地点:北京状态:招聘♡ 收藏
工作描述
任职要求 1、计算机、统计学、数据科学等相关专业本科及以上学历,具备大模型评测、数据分析或产品测评相关工作经验。 2、熟悉 LLM 能力评测体系与主流公开榜单,理解 Arena 对战机制及 Elo/BT 排名算法的统计原理,能够准确判断胜率差异所需样本量与置信区间。 3、具备评测题库设计与标注一致性管理经验,能够独立完成评测方案设计与质检流程搭建。 4、熟悉 AI Agent 及办公助手类产品形态与典型工作流,理解任务型评测与单模型评测的差异,能够定义可量化的成功标准与归因维度。 5、具备良好的 Py…
登录查看完整工作描述
微信扫码,1秒登录
包括英文材料
数据科学+
https://roadmap.sh/ai-data-scientist
Step by step roadmap guide to becoming an AI and Data Scientist
学历+
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
数据分析+
[英文] Data Analyst Roadmap
https://roadmap.sh/data-analyst
Step by step guide to becoming an Data Analyst in 2025
还有更多 •••
相关职位
社招2年以上
本科及以上学历,至少1-3年AI领域相关经验,具备以下背景优先: (1)有Agent真实生产力应用场景经验: 曾参与过智能助手、办公自动化等方向的评测、测试或交付工作,了解大模型在复杂任务中的常见问题
更新于 2026-09-29杭州|北京
社招2年以上
1.本科及以上学历 2.具备优秀的沟通协调能力和团队协作意识,有项目管理或团队负责人经验优先。 3.具备多任务并行及优先级处理经验,有一定抗压能力。 4.具备责任心和较强的团队意识,对互联网及大模型有
更新于 2026-09-03杭州|北京
社招3年以上
1.熟悉Agent架构(ReAct、Plan-and-Execute、Tool-use 范式等)及其评测方法 2.了解AgentBench、ToolBench、WebArena、OSWorld 等评测
更新于 2026-07-09杭州