字节跳动自动化评测专家-大模型数据服务中心

日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：抖音集团内容质量与数据服务平台（DOUYIN GROUP CONTENT QUALITY AND DATA SERVICE，简称CQC）是负责抖音集团今日头条、抖音、西瓜等产品内容安全与质量工作的团队，在各产品运营增长方面开展支持工作，为产品线提供数据服务的基础支持。平台下设内容质量中心、数据中心及运营支持中心，在全国10余个城市有业务分布。 1、负责规模化运营外包专家团队，制定和优化人工评估流程和标准，对专家评估结果进行质量把控，进行数据分析，撰写评估报告，为模型优化提供可靠依据； 2、搭建自动评估和标注体系，编写PE和Workflow程序，实现评估数据的规模生成与筛选，协同产品研发团队完成自动评估系统搭建与优化； 3、制作自动评估的评测集，从多样性、时效性、真实性、区分度等维度，保障评测集的质量，辅助研发快速迭代。

AI Business成立于2023年4月，是阿里国际数字商业集团设立的一层业务组织，专注于AI技术能力建设和AI产品能力输出，旨在用最先进的AI技术重塑平台竞争力，为商家和用户带来极致的电商体验。 作为跨境电商领域的AI先锋，我们坚定地相信人工智能对塑造未来电商的关键作用，并坚持对AI领域人才的培养和发展。我们已经汇聚了业内顶尖的AI算法专家、AI工程师和AI产品团队，并诚挚邀请有共同使命感、追求创新与卓越的AI人才加入我们的团队，共同用AI技术书写数字商业领域的新篇章。 1、应用各类机器学习方法为大模型训练提供高质量训练数据，包含文本、图片、视频、音频等数据类型，探索基于AIGC的数据合成技术，不断提升数据对大模型上表现的贡献，追逐Data-centric AI的数据技术能力 2、建设跨境电商领域的Knowledge Base，从而构建服务阿里跨境电商的RAG、AI Agent 3、在通用BenchMark、业务领域BenchMark基础上，建设大模型自动化评测能力，通过模型评测进行科学数据供给和大模型训练

1、配合产品与算法侧，进行大模型模型训练数据样本集标注、模型迭代效果评估、风格化LoRA精调等，共同推进业务目标达成； 2、依据多模态以及视觉大模型发展阶段，站在视觉类大模型产品视角，制定科学合理的数据评测/交付方案； 3、负责面向外部供应商开展标准规则的培训与试标，对项目交付结果负责，包括制定项目交付计划，项目进度管理，项目风险管理，项目交付指标管理等； 4、对齐项目目标，设计PE及Agent自动化标注流程，优化数据构造方法与工具，带领团队高质量达成数据生产目标。

团队介绍： ModelScope魔搭社区是中国最具影响力和最活跃的AI开源社区。秉承“模型即服务”的理念，魔搭围绕平台上开源的模型和数据集，针对各领域模型提供包括模型获取 、推理、 训练、评测、应用等全生命周期所需的开源技术组件。广大开发者基于魔搭的开源技术生态，以及社区站点和平台的支持，能迅速快捷的实现从模型到实际AI应用落地。 魔搭团队负责魔搭开源技术生态的研发，以及魔搭站点（modelscope.cn）与后端服务的整体建设工作。同时负责在快速迭代的AI领域，架接模型贡献者和模型使用者之间的桥梁。支持新模型，新应用的迅速接入，确保前沿模型在魔搭生态里的迅速落地。 职位描述： 1. 魔搭平台模型，数据集，创空间等功能研发以及后台服务的管理。 2. 通过与底层云基座打通，打造魔搭服务平台自动弹性和水平扩展能力，为千万级别的开发者用户提供稳定的服务，实现高效的计算资源使用。 3. 围绕魔搭的模型生态，开发各领域模型（尤其是大模型以及AIGC领域模型）实现应用落地所需的相关工具链。支持模型从ckpt落地为实际应用所需的自动化部署，评测等一系列工程链路。 4. 撰写技术设计文档以及用户文档，包括操作手册和最佳实践指南等。