字节跳动大模型自动化评测实习生-AI数据与安全

ByteIntern：面向2027届毕业生（2026年9月-2027年8月期间毕业），为符合岗位要求的同学提供转正机会。 团队介绍：AI数据与安全团队为Seed基座模型及AI原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与Seed研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决AI前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和AI产品的一手用户。 1、评测体系建设：参与大模型评测的工程基础设施的开发工作，包括评测集的接入、生产、管理，评测对象的链路采样，人评/机评能力建设，评估结果的分析等评测核心能力的开发工作； 2、评测Agent搭建：探索自动评测、高质量评测集构建等前沿评测方法，在评测场景搭建AI Agent，为评测业务提供端到端的高效、自动化的交付能力。

AI Business成立于2023年4月，是阿里国际数字商业集团设立的一层业务组织，专注于AI技术能力建设和AI产品能力输出，旨在用最先进的AI技术重塑平台竞争力，为商家和用户带来极致的电商体验。 作为跨境电商领域的AI先锋，我们坚定地相信人工智能对塑造未来电商的关键作用，并坚持对AI领域人才的培养和发展。我们已经汇聚了业内顶尖的AI算法专家、AI工程师和AI产品团队，并诚挚邀请有共同使命感、追求创新与卓越的AI人才加入我们的团队，共同用AI技术书写数字商业领域的新篇章。 1、应用各类机器学习方法为大模型训练提供高质量训练数据，包含文本、图片、视频、音频等数据类型，探索基于AIGC的数据合成技术，不断提升数据对大模型上表现的贡献，追逐Data-centric AI的数据技术能力 2、建设跨境电商领域的Knowledge Base，从而构建服务阿里跨境电商的RAG、AI Agent 3、在通用BenchMark、业务领域BenchMark基础上，建设大模型自动化评测能力，通过模型评测进行科学数据供给和大模型训练

1.参与AI系统（如机器学习模型、NLP/CV应用、大语言模型等）的质量保障工作，设计并执行测试用例； 2.针对AI模型特性，完成性能测试（如推理速度、资源占用）、效果测试（如准确率、召回率）及稳定性测试（如对抗样本鲁棒性、数据漂移检测）； 3.开发自动化测试脚本，搭建测试工具链，提升AI模型迭代效率； 4.分析测试结果，定位AI模型或数据问题，与算法/工程团队协作优化解决方案； 5.探索AI测试前沿技术（如模型可解释性测试、公平性评估等），推动测试流程标准化； 6.探索AI辅助测试落地测试项目。

1、以算法视角，参与快手大模型（包括不限于LLM、T2I、T2V、I2V、MLLM模型）评测工作和评测体系建设； 2、参与评测相关自动化评测工具开发及维护，最大化提高评测效率； 3、以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测； 4、参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设。