vivo多模态大模型算法研究员- 26届蓝极星
任职要求
1.博士学历，有扎实的数学功底与多模态大模型研究基础，熟悉主流的多模态大模型架构并具有深度的预训练或微调经验； 2.具备优秀的算法工程落地及产品化开发能力，熟练掌握C++及 Python/Pytorch编程； 3.计算机、人工智能相关专业毕业，博士学历。 加分能力项： 1. 对于多模态大模型在视频、多图输入数据下，提升视频理解，思维链推理等具有相关研究经验； 2. 对于多模态大模型的压缩技术，包括轻量化模型架构，蒸馏，计算效率优化等问题具有研究经验； 2.在CV/ML领域的CCF-A类期刊／会议上以一作身份发表过论文，例如 CVPR/ICCV/NIPS/ICLR等
工作职责
我们是影像规划预研部，隶属于vivo影像大团队，主要负责vivo手机Camera模块中长期创新技术规划与预研。 我们以图像处理、计算机视觉、AI技术为依托，在拍照、视频、3D、XR等方向打造具有行业竞争力的影像技术和产品，为消费者提供极致的影像体验。 1. 负责AI眼镜中多模态大模型的算法预研，构建AI眼镜视频数据下的个人AI个人助理，实现长视频/多图下的端侧高效多模态问答交互，持续迭代优化核心算法模型及整体技术框架，支撑前沿技术产业落地； 2. 与产品团队紧密合作，将最新的多模态大模型技术融入公司产品和服务中，显著提升用户体验和满意度； 3. 不断优化现有算法，提高效果、性能和稳定性，确保技术在各种设备和平台上的高效运行，发布研究成果，积极参与行业会议，与学术界和工业界建立并维护良好的合作与交流关系。
1. 参与文档解析多模态大模型的研发，包括预训练、微调、指令对齐和推理优化； 2. 设计并实现高效的训练与推理系统，解决大规模文档数据处理、算力利用与模型优化问题； 3. 针对复杂文档场景，探索文本、版面（layout）、表格、公式、印章等多模态元素的解析方法； 4. 构建并优化文档解析全流程，包括数据预处理、模型训练、评测指标与工程化部署； 5. 结合业务需求，提出创新性方案并推动落地，形成可复现、可扩展的工程化体系。
1. 针对多模态大模型设计并实现强化学习算法，提升模型在推理、工具调用、Agentic 能力上的表现。 2. 参与大模型的强化学习训练流水线设计与实现，包括奖励建模、策略优化、对齐训练等环节。 3. 关注行业内顶尖机构在 Agentic RL、多智能体学习、多模态推理 等方向的最新成果，基于前沿研究提出创新性方法，推动模型在复杂推理、长程规划、多轮对话等方向的突破。
1. 业务研发：负责智能车舱多模态大型模型的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究大模型领域的前沿技术和趋势，为项目提供技术支持； 2. 模型优化：协同算法、数据团队，把研究成果转化为实用模型，负责架构设计、参数配置及训练流程搭建。运用深度学习框架（如PyTorch、huggingface库、deepspeed）训练、优化模型，依实验结果调整参数与策略，利用评估工具分析模型表现，提出改进措施； 3. 数据管线：收集、整理、标注多模态数据，构建高质量数据集，为模型训练打基础。对数据清洗、归一化、提取特征，提升数据质量与训练效率。参与制定数据存储、备份及安全策略，保障数据安全与可访问； 4. 算法研究：密切追踪多模态大模型前沿技术，定期撰写分析报告，为团队决策提供战略依据。开展创新研究，探索新架构、算法，钻研多模态数据融合等难题，实验验证以推动技术突破，提升模型对多模态数据处理的性能与泛化力。
1. 参与文档解析多模态大模型的研发和迭代，研发高效的强化学习训练与推理系统，解决大规模图文数据处理、算力利用及模型优化问题； 2. 设计并实现适用于多模态大模型的奖励机制，涵盖图文对齐、复杂推理、OCR/文档解析、表格理解、视觉问答、Agent 操作等多模态任务，探索创新性强化学习算法与多模态对齐方法； 3. 构建并优化多模态强化学习流程，包括数据生成、奖励模型训练、策略优化（如 PPO / DPO / GRPO 等）、模型评测与部署，实现模型能力的精准量化与持续优化； 4. 结合业务需求提出创新方案，推动 RL 优化后的多模态大模型在办公自动化、教育、金融等领域落地应用。