腾讯腾讯智能座舱-多模态/大语言模型算法专家
任职要求
1.硕士及以上学历,计算机、人工智能、数学等相关专业,3年及以上大模型/多模态/跨模态相关的算法经验; 2.精通主流多模态或全模态大模型,主导或核心参与过多模态大模型项目优先;有行业落地案例或相关开源项目经验者优化; 3.有声学、语音大模型等工作经历背景优先; 4.具有优秀的基础算…
工作职责
1.负责智能座舱领域多模态大模型的训练及优化,支撑车端部署,改善交互体验;结合行业需求,探索座舱领域全模态(图像、文本、视频、语音)大模型的完整训练链路,升级基座模型表现; 2.参与智能座舱产品的核心算法研发,推动多模态大模型在座舱领域的应用落地,将大模型技术与业务需求结合,改善座舱产品交互体验; 3.跟踪大模型前沿技术,理解实际业务需求,持续探索前沿技术与产业应用相结合的机会点; 4.有效组织部门内/跨部门团队合作,确保相关技术方案的顺利实施。
【愿景】 建成全球持续领先、客户长期信赖的履约技术平台,打造市场首选、社会认可、服务10亿用户的配送品牌。 【你将参与】 方向一:多模态Agent技术体系研究与落地 1.面向真实业务场景,设计并构建多模态Agent技术体系,覆盖图像、视频、文本、语音等多源信息理解,以及任务规划、工具调用、多轮交互、跨模态推理、自我反思与纠错等核心能力。 2.围绕复杂业务任务,抽象多模态Agent的关键问题与模式,探索视觉感知、复杂推理、工具协同和任务执行的一体化优化方案,提升Agent在真实场景中的准确性、鲁棒性与执行效率。 方向二:多模态模型训练与后训练优化 1.负责多模态大模型及Agent模型的训练与优化,包括多模态指令精调、偏好对齐、奖励建模、过程监督等方向,提升模型在视觉理解、视频分析、图文推理、工具调用和复杂任务执行中的能力上限。 2.参与多模态训练数据与反馈数据建设,包括图文/视频数据清洗、合成数据构建、标注流程设计、偏好数据生产、评测数据沉淀等,支撑模型持续迭代。 方向三:多模态评测与业务闭环建设 1.设计覆盖多模态Agent行为、模型感知能力、跨模态推理能力、工具调用能力和业务效果的评测体系,建立自动化诊断与归因链路。 2.与业务团队深度协作,构建训练—评估—迭代闭环,将多模态Agent能力落地到真实业务流程中,并转化为可量化的线上收益。
-负责智能体、大语言模型及多模态大语言模型优化,主要涉及到以下工作内容 -大语言模型、多模态大语言模型的提示词工程、调优等 - 参与大语言模型/多模态大模型训练、微调及推理优化,提升模型在复杂场景下的泛化与生成能力 -大模型相关研究与应用,包括但不限于视觉-语言模型构建、跨模态内容生成与理解、(多模态)对齐与融合等方向 -基于大模型构建智能体的自动优化机制探索,包含但不限于Agentic推理、自反馈优化等 -基于多智能体协作的内容生产及内容理解、AIGC等