字节跳动VLM数据运营实习生（基础模型）-大模型数据服务中心
任职要求
1、本科及以上学历在读，计算机科学、人工智能、数学、物理等相关理工科专业； 2、具备大模型训练、微调、应用开发或网页爬取等相关技术经验者优先；拥有扎实的计算机网络、多线程等知识基础，能熟练运用Python及Pandas、NumPy等三方库完成数据处理工作，熟悉视觉基础原理、接口技术及提示工程，有LLM/VLM标注方案构建经验者优先； 3、对前沿科技有强烈探索欲，主动追踪行业最新论文与研究成果，热衷于…
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：大模型数据服务中心，是抖音集团旗下为大模型业务提供数据、评估、运营等专业解决方案的团队； 主要承接大模型数据生产、大模型评估及运营相关的业务，与研发、产品等团队紧密合作，在预训练、数据监督微调、模型强化学习、模型能力评估、产品运营等大模型全链路数据环节，共同推动模型能力持续提升与应用。 1、主导核心方向数据生产全流程管控，对数据质量与交付效率负总责，紧密联动模型迭代环节，确保数据供给与模型效果优化同频共振； 2、结合视觉理解模型的核心能力场景，制定科学规范的数据生产标准与流程，并持续迭代优化；主动设计并落地数据生产效率提升、模型效果优化相关实验，输出客观严谨的结论并反哺流程升级； 3、探索并落地多元化标注提效方案，包括但不限于标注工具优化、提示工程（PE）撰写、Agent自动化标注搭建、标注模式创新等，提升数据生产效能； 4、深度协同算法、产品团队，精准理解模型原理与算法逻辑，针对性输出数据构造、生产策略等专业建议，助力打通“数据-模型-效果”的闭环链路； 5、承担团队知识输出与带教职责，协助非技术向成员提升大语言模型相关认知与实际应用技能，赋能团队整体业务目标达成。
我们致力于构建支持通用人工智能发展的高质量、多模态大规模训练数据集，服务于图像、视频、文本等复杂模态融合下的大模型研发。该岗位将主导多模态数据基础设施的设计、处理流程的智能化优化，并深度参与高价值数据（如推理类任务数据、领域权威知识数据）的构建与增强，为模型的理解力、泛化能力与推理能力提供坚实数据支撑。 你将与算法工程师、数据产品经理紧密合作，共同推动数据与模型的正反馈闭环，包括数据构建策略共创、实验验证、产品化数据标准制定等，在万卡集群的充足算力支持下，实现“数据即能力”的宏大目标。 主要职责： 1.设计与维护高扩展性、多模态数据基础设施 支持图像、视频、文本等模态数据的高效采集、存储、调度与版本化管理，满足大模型多轮训练与快速迭代需求。 2.构建推理能力导向的数据集 主导构建具备复杂因果关系、长链思维、多跳推理、模态融合推理、多语言对齐推理等能力评估或训练所需的数据集，服务大模型“理解-生成-决策”闭环。 3.高性能并行数据处理优化 在CPU/GPU集群或分布式环境中优化大规模图像/视频/文本混合数据的处理性能，提升数据准备效率与稳定性。 4.构建可视化与分析工具，辅助数据理解与反馈闭环 实现多模态数据分布可视化、异常聚类检测与质量诊断，服务于模型训练前/中/后的数据决策优化。 5.与算法工程师深度协同，提升模型性能与数据对齐度 基于模型效果与损失分析，共同制定数据增强策略、采样分布设计、多轮训练数据构造方法，实现数据与模型迭代的高效协同。 6.与数据产品团队合作，推进数据标准化与平台化建设 参与数据标签体系、任务定义、多模态对齐协议等的标准制定，推动数据处理工具、标注平台、数据质量评估体系的产品化落地。
1. 前沿算法研发：负责探索和研发最前沿的视觉语言大模型（VLM）算法，跟进并掌握领域内的最新技术动态（如InternVL Qwen-VL等）。 2. 模型训练与优化：参与或主导公司VLM模型的训练，包括但不限于数据处理、CPT、指令微调（SFT）、以及基于人类反馈的强化学习（RLHF）等全流程算法的研发与优化。 3. 多模态能力融合：致力于提升模型在图像、视频等多种视觉模态上的理解、推理和生成能力，实现视觉信息与语言能力的深度融合。 4. 应用场景落地：推动VLM技术在公司具体业务场的应用落地，解决实际业务中的挑战。 性能优化与部署：负责模型的性能优化，包括模型剪枝、量化、蒸馏等，并配合工程团队将模型高效部署到云端或嵌入式设备，实现低延迟、高吞吐的推理服务。
1、研发基于VLM/多模态大模型的数据挖掘算法，精准识别自动驾驶长尾场景（如极端天气、复杂交通参与行为、罕见障碍物等）； 2、构建高效的自动化数据挖掘Pipeline，提升数据标签质量并降低标注成本； 3、结合点云、图像、文本等多模态数据，设计多模态特征，支持数据的跨模态检索；
1、负责大模型 VLM: Vision-Language Model在人形机器人中的算法设计与开发，将VLM应用于人形机器人的对话、环境感知与人机交互任务； 2、参与大模型的Pretrain与Mid-training（long-context training），并利用数据合成技术打造高质量的预训练/后训练数据集； 3、与机器人平台团队、硬件团队紧密协作，实现模型在实际机器人系统中的高效运行； 4、跟踪前沿研究，推动新技术在产品中的落地应用。