美团【北斗实习】大模型应用算法工程师-【多模态数字人】
任职要求
海内外高校在校本科生（大三及以上）、硕士生及博士生，且以下条件至少满足一项： 1）超级学霸：专业成绩排名前1%。 2）学术达人：在顶级期刊或学术会议…
工作职责
【课题说明】 聚焦多模态数字人核心技术，以直播为应用场景，旨在突破其在真实感、智能交互、情感表达及多模态信息处理上的瓶颈。研发能自主执行复杂运营任务、展现丰富情感与高表现力，并与用户进行深度多模态内容互动的下一代数字人，革新直播行业运营模式与用户体验。 【建议研究方向】 1.智能运营Agent：研究数字人作为智能Agent，在直播前（策划、脚本、货盘）、中（场控、问答、促单）、后（复盘、再创）全流程承担运营职能。重点攻克基于多模态数据的智能决策、任务自动化及人机协同，提升直播运营效能。 2.高表现力数字人生成驱动：探索高真实感、个性化数字人形象（外观、声音、风格）的快速生成与定制。重点研究大模型驱动的、与语音同步且富含细腻情感的表情、口型、动作的实时驱动，增强直播感染力。 3.多模态内容生成和交互：研究理解用户多模态输入（文、语、图、视频）并进行深度互动。探索数字人自主生成动态多模态内容，丰富直播呈现，提升用户参与感。
【课题说明】 以大模型对话技术为核心，探索前沿技术问题。研究方向包括角色扮演、个性化对话、记忆管理，拟人化，数字人等，主要业务场景包括运营，招聘，销售，审核等。目标是构建覆盖多个场景的Agent系统，实现“技术驱动业务范式”的升级转变。 【建议研究方向】 1. 大模型个性化（Personalized LLM）：通过角色扮演、用户行为数据挖掘与建模、上下文理解等方法，分析用户情感状态，提升模型的个性化回复能力。 2. 面向语音交互的拟人化技术（Voice Agent）：优化大模型在语音对话场景的效果，提升大模型的拟人化水平，探索下一代端到端语音对话大模型的技术实现。 3. 记忆管理与增强（Memory）：通过优化模型长上下文能力、设计记忆抽取与管理模块，提升系统的记忆能力。 4. 基于LLM的RL（LLM-based RL）：通过强化学习，提升模型规划、决策、推理等能力。 我们将提供充足的计算资源和良好的工作自由度，目标是产出有影响力的工作，解决业务实践中的问题。
【课题子主题】【搜推】面向全球多国的Agentic推荐 【课题说明】 随着业务发展，keeta推荐面临多国家不同文化和餐饮环境的挑战，包括：1. 冷启动问题突出，推荐系统对本地的商家缺少理解，新市场和新用户缺乏交互数据，系统难以推荐符合本地用户偏好、受欢迎的餐厅；2. 不同国家面临非常多的本地事件，例如中东斋月、巴西狂欢节、极端天气等，传统模型依赖历史行为数据难以及时对不同事件下的需求进行响应。 本课题拟引入 Agent 与多轮强化学习技术，构建具备策略生成、动态调控与反馈优化能力的搜推一体化推荐框架，提升系统在跨文化复杂场景下的响应速度和推荐效果。 【建议研究方向】 1. 面向冷启动的语义理解与推荐建模，构建统一的商家与内容语义表征体系，通过世界知识和多模态信息建模，提升系统对不同国家餐饮供给的理解能力，并结合相似用户与商家的迁移泛化，在低数据与新市场场景下提升推荐效果。 2. 基于世界模型的推荐环境建模，构建统一的推荐世界模型，对用户偏好、商家供给及环境因素进行联合建模，学习需求随场景变化的动态规律，并通过用户反馈模拟器支持策略的离线评估与推演，提升系统对复杂环境的建模能力。 3. Agent驱动的推荐决策与强化学习，基于世界模型，将推荐建模为序列决策问题，引入Agent进行动态策略生成，并结合多轮强化学习与在线反馈持续优化排序与流量分配策略，以提升长期推荐效果与跨场景适应能力。
【课题说明】 随着美团业务向多个海外市场拓展，推荐与搜索系统面临多国家、多语言场景下的核心技术挑战：一方面，不同语言的语义理解差异、跨语言迁移能力不足、低资源语言数据稀缺等问题制约了搜索相关性体验；另一方面，各国市场用户行为模式、文化偏好、消费习惯差异显著，传统推荐系统难以在多国场景下实现统一建模与高效迁移。 本课题旨在打造面向多国多语言场景的推荐搜索一体化解决方案，融合多语言语义理解与大语言模型（LLM）能力，构建具备跨国泛化能力的推荐搜索系统，全面提升境外业务的用户体验与转化效率。 【建议研究方向】 方向一：多国多语言搜索相关性 多语言语义表征建模：基于多语言预训练模型（如mBERT、XLM-R等），结合本地化业务数据，构建适配多国语言的搜索相关性表征模型，提升跨语言语义对齐能力。 低资源语言相关性增强：针对数据稀缺的小语种市场，探索数据增强、跨语言迁移学习、零/少样本学习等技术，提升低资源语言下的相关性判断能力。 多国统一相关性评估体系：设计面向多国多语言场景的相关性评估框架，结合人工标注与模型自动评估，构建可扩展的多语言相关性基准。 方向二：LLM-based 多国家统一推荐 LLM驱动的跨国用户意图理解：基于多语言LLM，对不同国家用户的行为序列与搜索意图进行统一建模，提升跨国场景下的用户偏好理解能力。 多国统一推荐基座模型：探索以LLM为基座，通过多国数据联合训练与国家/文化特征注入，构建可快速适配各国市场的统一推荐模型，降低多国分治的维护成本。 跨国冷启动与迁移学习：针对新兴市场数据稀缺问题，研究基于LLM的跨国知识迁移与冷启动方案，提升新市场推荐效果的快速收敛能力。
【课题说明】 本岗位聚焦点评C端AI产品的算法研发与能力建设，负责基于大语言模型的智能交互产品的搭建及在点评场景的应用落地，包括AI Search、评价总结、Overview生成等全链路AI产品功能，覆盖点评所有偏 C 端的 AI 算法场景。当前重点方向是 AI 搜，致力于打造业内领先的 C 端 AI 体验。 【建议研究方向】 1. 任务拆解与规划能力建设：研究复杂用户需求下的任务分解、工具调用与自动化评估能力，构建任务拆解规划工具，提升系统对多步骤、多场景任务的适应能力、执行效率和评估闭环能力。 2. Memory与个性化交互技术：探索AI系统的记忆机制，使工具能够记住用户历史对话和偏好，打造更智能、更懂用户的个性化交互体验。 3. 数据构建与模型训练优化：构造高质量训练数据，开展模型训练与自动评估体系建设，推动大模型在业务场景的高效应用和持续迭代。 4. 本地生活场景质量保障：针对点评流量特点（结合现实世界的客观服务），研究质量保障相关技术，解决搜索和推荐结果的可信度与准确性问题。