字节跳动大模型评测实习生-AI数据与安全

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：AI数据与安全团队为Seed基座模型及AI原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。 1、负责大模型自动化评测研发工作，将各类评测集在内部平台集成开发，助力模型在各垂类方向的能力提升； 2、负责训练数据的有效性验证工作，通过模型训练、构建Agent等方式，判别有效训练数据，助力模型能力提升； 3、调研公开文献、公开评测集、训练方法，参与自建评测集等探索类工作，优秀成果可以支持学术论文发表； 4、探索智能、高效的模型评估和训练方案，主导开发相关工具。

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：字节跳动内部创新业务团队，专注研究新技术赛道相关领域产品，落地AI智能化创新。 1、从用户视角定义产品体验，并细化到对模型效果的理想态定义和评测标准制定； 2、负责构建大模型在真实应用场景下的效果评估体系，产出稳定可信的评测结论；能够从用户反馈、模型行为观察、研究侧目标中提炼评估方向，并提出可落地的模型能力提升与应用体验优化策略，推动模型和产品迭代； 3、与研发、数据科学、用户研究等团队紧密协作，基于线上观测、实验结果和用户访谈，识别模型缺陷与改进机会，并给出可执行的优化方向与评估策略； 4、负责推动跨团队协作闭环，统筹评估目标、资源优先级与落地节奏，确保关键模型行为、风险点、用户体验问题能够被快速验证、追踪与优化； 5、持续跟进业界评测研究与方法论，结合真实业务场景迭代方案，探索更反映真实用户体验和价值的评测方法。

1、负责 AI 业务的模型评估体系建设、评测集设计、自动化评测开发。 2、对评测结果进行统计分析与可视化，定位模型能力短板，输出可指导模型优化的洞察与建议。 3、协助推进评测项目的需求对齐、排期管理、跨团队协作与进度跟踪，保障评测任务高质量按时交付。 4、参与评测流程、标注规范、评测平台/工具的优化迭代，沉淀方法论与最佳实践。 搭建并落地自动评测体系，形成 “评测→分析→优化” 闭环。

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 1、跟踪测试产品新能力，输出结构化的产品效果分析报告，为产品决策提供依据； 2、负责重点客户反馈的负面案例有效跟进，配合QA完成效果评测，并将具体问题抽象归纳、对应到Benchmark体系中； 3、针对每次算法在Benchmark上的迭代结果进行系统性案例研究，深入分析效果变化原因，输出可落地的优化建议； 4、持续构建高质量评测案例，分析来自线上及知识库关于Embedding排序的负面案例特征，熟练运用多种Agent工具构造评测数据，并通过与研发的持续沟通确保评测集质量与覆盖度。