千问千问事业部-vlm后训练算法专家(VQA agent)-北京/杭州
任职要求
1、计算机科学、人工智能、数学、电子信息等相关专业硕士及以上学历； 2、有扎实的深度学习基础，基本工具（python/pytorch）熟练使用，熟悉业界前沿模型架构&…
工作职责
负责千问app上通用场景下的多模态问答的算法能力建设，持续推进模型效果和应用场景落地，核心专注于提升 VQA Agent 在复杂视觉场景下的准确率，具体职责包括： 1、多模态planner的优化&探索，主要负责在复杂多轮/多模场景下的意图理解、路径规划、ToolUse、反思纠错等能力的建设，以及探索Agentic RL在复杂长程路径规划场景下的应用&创新； 2、VLM后训练技术探索&落地，包括不限于SFT/RLVR/RLHF等训练范式，以及如RFT的循环迭代机制，提升模型在多轮对话、RA引用、指令遵循、用户偏好等方面的能力； 3、建设完备的算法迭代体系，包括自动化数据飞轮流程以及数据合成体系，模拟真实用户的复杂多轮搜索需求，构建包括CoT、ToolUse及Reflection路径在内的高质量训练数据集，同时设计高可用的自动化评测体系以及建设对应完备的Benchmark；
1. 前沿算法研发：负责探索和研发最前沿的视觉语言大模型（VLM）算法，跟进并掌握领域内的最新技术动态（如InternVL Qwen-VL等）。 2. 模型训练与优化：参与或主导公司VLM模型的训练，包括但不限于数据处理、CPT、指令微调（SFT）、以及基于人类反馈的强化学习（RLHF）等全流程算法的研发与优化。 3. 多模态能力融合：致力于提升模型在图像、视频等多种视觉模态上的理解、推理和生成能力，实现视觉信息与语言能力的深度融合。 4. 应用场景落地：推动VLM技术在公司具体业务场的应用落地，解决实际业务中的挑战。 性能优化与部署：负责模型的性能优化，包括模型剪枝、量化、蒸馏等，并配合工程团队将模型高效部署到云端或嵌入式设备，实现低延迟、高吞吐的推理服务。
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：大模型数据服务中心，是抖音集团旗下为大模型业务提供数据、评估、运营等专业解决方案的团队； 主要承接大模型数据生产、大模型评估及运营相关的业务，与研发、产品等团队紧密合作，在预训练、数据监督微调、模型强化学习、模型能力评估、产品运营等大模型全链路数据环节，共同推动模型能力持续提升与应用。 1、主导核心方向数据生产全流程管控，对数据质量与交付效率负总责，紧密联动模型迭代环节，确保数据供给与模型效果优化同频共振； 2、结合视觉理解模型的核心能力场景，制定科学规范的数据生产标准与流程，并持续迭代优化；主动设计并落地数据生产效率提升、模型效果优化相关实验，输出客观严谨的结论并反哺流程升级； 3、探索并落地多元化标注提效方案，包括但不限于标注工具优化、提示工程（PE）撰写、Agent自动化标注搭建、标注模式创新等，提升数据生产效能； 4、深度协同算法、产品团队，精准理解模型原理与算法逻辑，针对性输出数据构造、生产策略等专业建议，助力打通“数据-模型-效果”的闭环链路； 5、承担团队知识输出与带教职责，协助非技术向成员提升大语言模型相关认知与实际应用技能，赋能团队整体业务目标达成。
1、研发基于VLM/多模态大模型的数据挖掘算法，精准识别自动驾驶长尾场景（如极端天气、复杂交通参与行为、罕见障碍物等）； 2、构建高效的自动化数据挖掘Pipeline，提升数据标签质量并降低标注成本； 3、结合点云、图像、文本等多模态数据，设计多模态特征，支持数据的跨模态检索；
1、负责大模型 VLM: Vision-Language Model在人形机器人中的算法设计与开发，将VLM应用于人形机器人的对话、环境感知与人机交互任务； 2、参与大模型的Pretrain与Mid-training（long-context training），并利用数据合成技术打造高质量的预训练/后训练数据集； 3、与机器人平台团队、硬件团队紧密协作，实现模型在实际机器人系统中的高效运行； 4、跟踪前沿研究，推动新技术在产品中的落地应用。