阿里巴巴模型评测实习生
任职要求
1、熟悉Python，Shell，等多种脚本化语言； 2、能够通过脚本规模化处理数据，生成报告； 3…
工作职责
1、跟进各种前沿模型； 2、搭建以上多种模型的测试评测环境，管理评测数据； 3、根据评测脚本输出整理结果生成全面详实的评测报告； 4、根据多种模型和多个数据形成系统化的自动化评测体系。
1. 参与大模型评测体系的设计与优化，协助制定评测指标和测试方案。 2. 执行大模型在多个任务场景下的评测，并收集并分析评测数据，输出结构化报告，为模型优化提供数据支持。 3. 协助搭建和维护评测工具链，提升评测效率与自动化水平。
1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：AI数据与安全团队为Seed基座模型及AI原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。 1、评测体系建设：参与大模型评测的工程基础设施的开发工作，包括评测集的接入、生产、管理，评测对象的链路采样，人评/机评能力建设，评估结果的分析等评测核心能力的开发工作； 2、评测Agent搭建：探索自动评测、高质量评测集构建等前沿评测方法，在评测场景搭建AI Agent，为评测业务提供端到端的高效、自动化的交付能力。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：AI数据与安全团队为Seed基座模型及AI原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。 1、负责大模型自动化评测研发工作，将各类评测集在内部平台集成开发，助力模型在各垂类方向的能力提升； 2、负责训练数据的有效性验证工作，通过模型训练、构建Agent等方式，判别有效训练数据，助力模型能力提升； 3、调研公开文献、公开评测集、训练方法，参与自建评测集等探索类工作，优秀成果可以支持学术论文发表； 4、探索智能、高效的模型评估和训练方案，主导开发相关工具。