字节跳动多模态大模型数据策略Leader-大模型数据服务中心
任职要求
1、本科及以上学历，影视相关专业，广播电视编导、编剧、电影学、导演、戏剧与影视等优先；
2、熟悉图像/视频理解，具备从构图、光影、动作节奏、风格一致性等维度进行专业判断的能力，视频生成模型相关从业经历优先；
3、熟悉大模型模型评估，有数据标注与管理的经…工作职责
1、深度参与多模态大模型前沿方向的数据工作，重点负责视频/图像生成模型及AI多模型产品的效果评估，以及多模态大模型训练数据策略及标注管理； 2、负责多模态数据任务的理解与拆解，基于图像/视频内容特征及业务目标，制定对应的数据规则与质量体系； 3、建设科学的多模态大模型评测方案与策略，确保评估体系能够准确反映模型问题与能力变化，助力模型效果达到业内一流； 4、深入理解业务场景、市场动态和大模型技术趋势，牵引数据团队和算法团队的深度融合。
1、数据特征算法方案制定与效果优化：针对不同模态、多种类目的数据，设计自动化筛选方案；对多模态数据涉及的前沿特征算法（如物体跟踪、ID 重识别、音频分离）进行场景化效果优化。与算法工程师协作，制定数据调整与扩展策略，提升模型在真实场景中的生成能力； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 3、数据分布分析：对模型训练数据分布进行详细分析，识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议，确保训练数据覆盖目标场景并满足多样性需求，最终通过数据驱动方法优化视频生成大模型效果。
1、大规模多模态数据理解：负责海量多模态数据的打标分类、语义分割、检测、OCR文字识别、Caption生成等工作，提升数据的可用性与质量； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，并设计数据飞轮闭环，将用户交互数据反哺模型迭代； 3、制订长期规划：制定并实施大模型数据建设的长期发展规划，持续推动技术迭代与业务应用场景的拓展。
1、数据特征算法方案制定与效果优化：针对不同模态、多种类目的数据，设计自动化筛选方案；对多模态数据涉及的前沿特征算法（如物体跟踪、ID 重识别、音频分离）进行场景化效果优化。与算法工程师协作，制定数据调整与扩展策略，提升模型在真实场景中的生成能力； 2、数据 pipeline 建设：负责多模态大模型训练数据的构建与管理，参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源，设计有效的数据分布策略，支持模型持续迭代； 3、数据分布分析：对模型训练数据分布进行详细分析，识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议，确保训练数据覆盖目标场景并满足多样性需求，最终通过数据驱动方法优化视频生成大模型效果。
1、设计和开发大规模预训练数据处理链路，为基座模型预训练提供稳定、可靠的高质量数据处理能力，包括数据寻源、数据抓取/采集、数据解析（OCR、图片、网页）等工作内容； 2、设计和开发服务大模型预训练的数据平台，管理数据的元信息、血缘、存储治理等数据全生命周期要素；提供预训练数据的可视化、可观测能力；探索数据实验、数据发版的工程上限； 3、针对LLM、VLM等模型构建数据合成方案和框架，支持数据Scale等工作； 4、根据大模型训练数据特点，抽象并开发高效、可靠的数据加工框架，提升所有大模型算法工程师处理数据的工程效率。