腾讯腾讯游戏-多模态数据算法工程师-(3D 数据方向)
任职要求
1.硕士及以上学历,计算机视觉、图形学 或 多模态方向 背景优先; 2.熟练掌握深度学习 PyTorch 框架,熟悉模型训练及数据处理经验,具备优秀的独立开发与分析调研能力; 3.熟悉 3D 计算机图形学(CG)原理,理解网格拓扑、熟悉骨骼动画、人体动力学及 3D 变换(6D 旋转、四元数)…
工作职责
1.数据特征算法:负责多模态 3D 角色及动画、视频等数据的内容理解(如分类标签体系、embedding表征等),质量检测(数据识别检测、优质美学评价等),去重/聚类分析,数据合成等算法; 2.数据管线建设:负责 3D 角色及动画数据采集、筛选清洗、标注与质量评估管线的建设。与模型算法团队紧密配合,充分分析挖掘数据资源,建立自动化数据处理流程与机制,支持模型持续迭代; 3.数据实验分析:对模型训练数据进行详细分析,建立科学数据实验机制,识别样本不足、质量问题、配比不均衡等潜在问题,驱动数据优化提升数据覆盖、质量、多样性需求,最终带来大模型生成效果的持续提升。
1、为视觉生成模型构建高质量训练数据,兼顾多模态理解与生成相关工作,优化视觉生成模型的数据构建 pipeline,为模型性能提升提供可靠的数据支撑; 2、设计并落地数据有效性验证方案,验证数据对视觉生成模型训练的实际作用,探索数据在模型训练中的有效性; 3、在顶会顶刊上发表研究成果和开源代码,提升团队在多模态视频生成等领域的学术声望。
1、负责多模态视频生成模型的 RLHF 数据体系建设与工程落地,围绕运动质量、文本对齐、画面稳定性、风格一致性等核心业务指标,构建可规模化、可迭代的数据生产与交付流程; 2、设计并实现面向视频生成的 偏好建模与 Reward 机制,将主观质量(美感、合理性、符合指令等)转化为稳定、可优化的训练信号,推动模型在真实场景中的持续提升; 3、在生产环境中落地 DPO / GRPO / ReFL / PPO 等后训练与强化学习方法,结合数据策略与算法设计,提升模型效果并控制训练成本与稳定性; 4、深度对齐业务目标(如生成质量、用户满意度、场景可用性、内容安全等),以 “数据 + 算法 + 评测”闭环驱动模型迭代,对关键指标提升结果负责; 5、与算法、工程、数据、产品及运营团队紧密协作,建设 自动化数据管线、评测与回归体系,确保 RLHF 能在多模型、多版本中稳定复用与规模化落地。
1、数据效能研究(Data Efficiency):基于多模态大模型训练过程,分析不同模态数据的有效性、信息增益与贡献度;参与数据选择、数据蒸馏、难例挖掘等前沿技术探索,提升训练效率与模型表现; 2、数据–模型协同设计(Co-Design):与模型团队协作,从训练曲线、梯度信号与分布特征中反推数据质量,研究分阶段(预训练/SFT/对齐)数据策略,设计高效的数据结构与采样机制; 3、高质量数据构建(Data Quality Engineering):参与多模态数据 pipeline,包括自动标注、Caption 生成、数据去噪与一致性检查;探索弱监督、合成数据与模型 in-the-loop 的高质量数据生产方式; 4、多模态数据分析(Multimodal Analytics):对训练数据进行覆盖度、偏差与难度分析,构建可视化与指标体系,为模型能力诊断与数据重构提供依据。
1、数据特征算法方案制定与效果优化:针对不同模态、多种类目的数据,设计自动化筛选方案;对多模态数据涉及的前沿特征算法(如物体跟踪、ID 重识别、音频分离)进行场景化效果优化。与算法工程师协作,制定数据调整与扩展策略,提升模型在真实场景中的生成能力; 2、数据 pipeline 建设:负责多模态大模型训练数据的构建与管理,参与数据筛选、标注及质量评估工作。分析和挖掘现有数据资源,设计有效的数据分布策略,支持模型持续迭代; 3、数据分布分析:对模型训练数据分布进行详细分析,识别数据偏差、不均衡及潜在问题。提供可视化报告及改进建议,确保训练数据覆盖目标场景并满足多样性需求,最终通过数据驱动方法优化视频生成大模型效果。