阿里巴巴日常实习生-大模型应用评测算法-未来生活实验室
实习兼职阿里巴巴日常实习生地点:北京状态:招聘
任职要求
1. 计算机、人工智能、数据科学、自动化等相关专业,本科及以上学历; 2. 对大语言模型(LLM)及 AI 应用有浓厚兴趣,有相关课程学习、科研项目或竞赛经验(涉及 NLP、大模型微调、RAG 检索增强生成等方向均可); 3. 了解大模型评测基础理论,接触过 DeepEval、Ragas、TruLens 等任一评测框架,或有大模型数据标注、评测集构建经验…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
1. 协助团队开展大模型核心应用的评测算法研发工作,参与benchmark构建和评测框架搭建工作; 2. 参与构建和扩充高质量的评测数据集,协助打通线上/线下benchmark沉淀链路; 3. 辅助研发和调优基于 LLM-as-a-Judge 的自动化评测体系,提升评测指标的置信度与对齐率; 4. 参与自动化评测及竞品横评中的 Badcase 归因,为算法模型迭代提供数据支撑与优化建议; 5. 跟踪大模型评测领域(LLM Evaluation、RAG Evaluation)的前沿技术与开源框架,协助整理技术资料并探索创新评测方案。
包括英文材料
数据科学+
https://roadmap.sh/ai-data-scientist
Step by step roadmap guide to becoming an AI and Data Scientist
学历+
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
NLP+
https://www.youtube.com/watch?v=fNxaJsNG3-s&list=PLQY2H8rRoyvzDbLUZkbudP-MFQZwNmU4S
Welcome to Zero to Hero for Natural Language Processing using TensorFlow!
https://www.youtube.com/watch?v=R-AG4-qZs1A&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX
Natural Language Processing tutorial for beginners series in Python.
https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
The foundations of the effective modern methods for deep learning applied to NLP.
还有更多 •••
相关职位
社招3年以上产品类-平台型
1.评测体系规划:设计应用评测体系,制定综合衡量模型能力及用户体验的评测方案; 2.评测分析:负责阿里各类AI native应用模型评测工作,与算法、产品团队团队密切合作,提供评测报告、leaderboard等多种评测服务,分析AI应用短板,给出具体改进方案; 3.评测驱动:跟进业界最新评测进展,动态维护模型及应用评测评测集,定义待评测项驱动应用体验优化; 4.评测定义:具有产品sense,能够用用户角度将模糊的应用评测定义拆解为具体的、可量化的评测指标,基于评测主动引导算法及产品工作方向,为产品体验负责。
更新于 2026-06-23北京|杭州
社招2年以上
1. 负责AI原生应用的数据构造及应用评测工作,主要聚焦在用户体验,端到端效果评测提升,与产品及算法团队密切合作,理解算法需求,提供满足算法研发需求的数据; 2. 设计和实现各领域标注方向AI训练流程,并不断优化迭代,高效完成标注和内容生产项目; 3. 统筹ai应用各领域评测方案及数据生产方案。依据多元数据集设计需求与应用场景,为数据集标准环节制定详实、完备且极具可操作性的标准。定期对数据集开展阶段性质量检测,持续迭代体系化标注标准,助力打造行业标杆级数据集。 4. 构建并维护一套完善的各领域AI数据内容质量管理体系,积极推动组织流程及交付流程优化,全面把控内容质量并对结果负责,并不断进行优化迭代;
更新于 2026-06-18杭州