唯品会LLM 数据合版负责人

工作描述

核心职责
1. 模型能力抽象与数据需求定义
将 AI 小唯所需的能力拆解为可训练的能力维度（如：导购意图识别、商品理解与推荐、多轮对话、比价咨询、尺码建议、通用对话、安全合规等）；
针对每个能力维度，定义数据需求：需要什么样的样本、多少量、什么质量标准；
将产品的能力诉求
翻译为具体的数据建设方向；
持续跟踪模型在哪些能力上薄弱，反向指导数据补强
2. 数据合版规范建设
制定数据合版的标准规范：数据格式、字段定义、能力标签、质量分级、来源追踪；
定义不同能力数据的配比规则和浓度策略（如：业务数据 vs 通用数据的比例、各能力子集的采样权重）；
建立数据版本管理机制：每版数据的构成清单、变更记录、对应的模型版本和评测结果；
沉淀合版方法论，形成可复用的规范文档和操作手册
3. 数据质量控制
建立数据质量评估体系：指令多样性（embedding 聚类覆盖度）、回复质量（长度分布、IFD 指标）、格式规范性、拒答比例控制等；
数据清洗与去重：规则过滤、语义去重、低质量样本剔除；
数据质量分层：高质量样本与普通样本的权重区分，避免低质量数据稀释训练效果；
标注规则定义与验收：确保标注数据的准确率达标；
4. 数据消融实验
设计并执行…