字节跳动自动化评测专家-大模型数据服务中心
任职要求
1、本科及以上学历，计算机科学与技术、软件工程、大数据技术、人工智能等相关专业优先； 2、具备英文文献阅读能力，发表过计算机相关国际论文优先； 3、具备优秀的沟通协调能力和团队协作意识，有相关工作经历及项目管理经验，熟悉Python程…
工作职责
1、调研公开评测方法，并将公开评测集集成至内部平台； 2、深度配合垂类业务探索智能高效的大模型应用效能自动化评估方案，主导开发评估体系/工具； 3、制定大模型评估在应用方向的评估标准，主导评估体系构建，主导大模型评估工作。
ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：AI数据与安全团队为Seed基座模型及AI原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。 1、负责大模型自动化评测研发工作，将各类评测集在内部平台集成开发，助力模型在各垂类方向的能力提升； 2、负责训练数据的有效性验证工作，通过模型训练、构建Agent等方式，判别有效训练数据，助力模型能力提升； 3、调研公开文献、公开评测集、训练方法，参与自建评测集等探索类工作，优秀成果可以支持学术论文发表； 4、探索智能、高效的模型评估和训练方案，主导开发相关工具。
1、负责AI产品相关的评测工作，包含AI算法的评测体系建设、评测集构建、以及相关评测工程化建设等； 2、负责建立AI助手等相关领域产品的端到端完整自动化评测机制，并构建自动化评测平台，提升评测效率，推动评测工程化和无人化； 3、负责AI算法的评测标准和评测流程制定，构建评测集，并推进评测执行，分析评测结果，对模型质量给予充分评估； 4、构建端到端的Agent评测体系，深入探索系统的评测方案，具备从多个维度、多个指标对Agent进行全面评估，为后续优化提供数据支持和决策依据； 5、不断探索和应用前沿的技术和方法，为团队带来创新思路和解决方案。
核心职责：自动化评测集建设能力 1. 建设面向产品Agentic场景（Search Agent、Office Agent、对话Agent、生活服务Agent等）的端到端评测集，量化模型在真实产品链路中的表现，并拆解到模型原子能力，确保评测粒度可拆解至独立能力维度； 2. 基于评测数据产出结构化的模型能力诊断报告，明确优势与短板，形成可执行的优化建议，辅助算法团队确定模型迭代方向； 3. 持续追踪业界前沿Benchmark与评测方法论，保持评测集的先进性和行业对标能力；
探索行业前沿的大模型技术，建立科学、全面的评测体系，支持模型演进、产品落地、竞对分析评估。