高德地图大模型应用算法工程师-多模态多Agent方向-APP平台业务

【课题说明】 聚焦多模态数字人核心技术，以直播为应用场景，旨在突破其在真实感、智能交互、情感表达及多模态信息处理上的瓶颈。研发能自主执行复杂运营任务、展现丰富情感与高表现力，并与用户进行深度多模态内容互动的下一代数字人，革新直播行业运营模式与用户体验。 【建议研究方向】 1.智能运营Agent：研究数字人作为智能Agent，在直播前（策划、脚本、货盘）、中（场控、问答、促单）、后（复盘、再创）全流程承担运营职能。重点攻克基于多模态数据的智能决策、任务自动化及人机协同，提升直播运营效能。 2.高表现力数字人生成驱动：探索高真实感、个性化数字人形象（外观、声音、风格）的快速生成与定制。重点研究大模型驱动的、与语音同步且富含细腻情感的表情、口型、动作的实时驱动，增强直播感染力。 3.多模态内容生成和交互：研究理解用户多模态输入（文、语、图、视频）并进行深度互动。探索数字人自主生成动态多模态内容，丰富直播呈现，提升用户参与感。

【课题说明】 在广告场景中，优质精美的创意对用户的行为决策有显著正向影响，传统模式下商用级创意内容的制作门槛高、生产周期长，长尾商家通常难以负担其成本，而头腰部商家也难以做到个性化、高时效性的创意生产投放。 本课题借助大模型的音、视、图、文等多模态理解、思考与生成能力，结合用户画像、商户/品特征、热点趋势等信息，探索实现低成本、个性化的商用级创意内容（如图文笔记、长视频）的生成技术。 【建议研究方向】 1.多模态深度思考：设计与实现多模态深度思考方案，优化模型对多源异构信息进行抽取筛选、加工整合、衍生创作的能力，提升创意内容生成的质量与多样性。 2.开放问题的强化学习：针对无标准答案的开放问题（如笔记生成、剧本创作、素材选取等），设计与实现适配的奖励机制与策略，通过强化学习提升模型能力。 3.创意生产Agent：参考人工生产中的不同角色分工合作流程，设计与实现创意生产的多agent协作框架，并通过线上效果反馈机制，闭环提升生产的效率与质量。

探索下一代多模态出行体验； 基于全双工多模态agent，构建人和环境的全新交互形态。

1.多模态智能体研发：研发大数据领域多模态智能体，融合表格、文本、图像、视频、语音、结构化数据等多源信息，构建感知-推理-决策-交互一体化智能系统，并应用于智能决策，人机协作场景； 2.跨模态理解与生成：设计跨模态对齐与融合算法，提升智能体对复杂语义（如视觉问答、图文生成、视频摘要）的理解与生成能力，开发多模态检索增强技术。