美团【北斗实习】大模型应用算法工程师-【多模态数字人】
任职要求
海内外高校在校本科生(大三及以上)、硕士生及博士生,且以下条件至少满足一项: 1)超级学霸:专业成绩排名前1%。 2)学术达人:在顶级期刊或学术会议上以第一作者身份发表论文(或导师一作,自己为二作)。 3)竞赛大神:在顶级大赛上获奖。 4)工程高手:有大厂实验室的实习经验,或有贡献突出的开源项目。
工作职责
【课题说明】 聚焦多模态数字人核心技术,以直播为应用场景,旨在突破其在真实感、智能交互、情感表达及多模态信息处理上的瓶颈。研发能自主执行复杂运营任务、展现丰富情感与高表现力,并与用户进行深度多模态内容互动的下一代数字人,革新直播行业运营模式与用户体验。 【建议研究方向】 1.智能运营Agent:研究数字人作为智能Agent,在直播前(策划、脚本、货盘)、中(场控、问答、促单)、后(复盘、再创)全流程承担运营职能。重点攻克基于多模态数据的智能决策、任务自动化及人机协同,提升直播运营效能。 2.高表现力数字人生成驱动:探索高真实感、个性化数字人形象(外观、声音、风格)的快速生成与定制。重点研究大模型驱动的、与语音同步且富含细腻情感的表情、口型、动作的实时驱动,增强直播感染力。 3.多模态内容生成和交互:研究理解用户多模态输入(文、语、图、视频)并进行深度互动。探索数字人自主生成动态多模态内容,丰富直播呈现,提升用户参与感。
【课题说明】 传统的向量召回和深度学习推荐范式在深度交互、冷启动、长尾商品发现、多场景适配等方面仍存在诸多挑战。生成式推荐系统以大模型为核心,具备强大的内容理解、知识推理和个性化内容生成能力。通过将用户历史行为、上下文信息、多模态内容等深度融合,生成式推荐系统能够实现用户意图的主动理解、候选内容的生成与多场景下的精准推荐,极大提升用户体验和平台生态活力。 【建议研究方向】 1.生成式召回:研究基于大模型的生成式召回方法,实现以模型参数为载体的候选内容记忆与生成,突破传统召回技术的局限。 2.多轮交互推荐技术:探索多轮用户引导与深度交互机制,实时理解用户意图变化,满足“千人千面”的个性化需求。 3.推荐系统的可解释性与安全性:研究大模型驱动的推荐逻辑可解释性方法,提升用户对推荐决策的理解和信任。同时探索生成式推荐中的内容安全,保障推荐系统的合规性与用户体验。 4.推荐智能体与复杂任务规划:构建具备推理、规划和自主决策能力的推荐智能体,支持跨领域、跨步骤的复杂任务推荐。
【课题说明】 在广告场景中,优质精美的创意对用户的行为决策有显著正向影响,传统模式下商用级创意内容的制作门槛高、生产周期长,长尾商家通常难以负担其成本,而头腰部商家也难以做到个性化、高时效性的创意生产投放。 本课题借助大模型的音、视、图、文等多模态理解、思考与生成能力,结合用户画像、商户/品特征、热点趋势等信息,探索实现低成本、个性化的商用级创意内容(如图文笔记、长视频)的生成技术。 【建议研究方向】 1.多模态深度思考:设计与实现多模态深度思考方案,优化模型对多源异构信息进行抽取筛选、加工整合、衍生创作的能力,提升创意内容生成的质量与多样性。 2.开放问题的强化学习:针对无标准答案的开放问题(如笔记生成、剧本创作、素材选取等),设计与实现适配的奖励机制与策略,通过强化学习提升模型能力。 3.创意生产Agent:参考人工生产中的不同角色分工合作流程,设计与实现创意生产的多agent协作框架,并通过线上效果反馈机制,闭环提升生产的效率与质量。
【课题说明】 以大模型对话技术为核心,探索前沿技术问题。研究方向包括角色扮演、个性化对话、记忆管理,拟人化,数字人等,主要业务场景包括运营,招聘,销售,审核等。目标是构建覆盖多个场景的Agent系统,实现“技术驱动业务范式”的升级转变。 【建议研究方向】 1. 大模型个性化(Personalized LLM):通过角色扮演、用户行为数据挖掘与建模、上下文理解等方法,分析用户情感状态,提升模型的个性化回复能力。 2. 面向语音交互的拟人化技术(Voice Agent):优化大模型在语音对话场景的效果,提升大模型的拟人化水平,探索下一代端到端语音对话大模型的技术实现。 3. 记忆管理与增强(Memory):通过优化模型长上下文能力、设计记忆抽取与管理模块,提升系统的记忆能力。 4. 基于LLM的RL(LLM-based RL):通过强化学习,提升模型规划、决策、推理等能力。 我们将提供充足的计算资源和良好的工作自由度,目标是产出有影响力的工作,解决业务实践中的问题。
【课题说明】 通用模型往往难以兼顾多样化的场景需求,容易出现泛化能力强但针对性不足的问题。针对这一挑战,本课题聚焦于研究面向具体业务或应用场景的强化学习训练优化策略,通过引入场景特定的奖励函数、环境建模和数据采样机制,提升模型在特定任务下的表现能力与适应性。课题重点突破模型在细粒度场景下的泛化能力不足、奖励稀疏、训练效率低等问题,为大模型的行业落地提供有力支撑。 【建议研究方向】 1.场景特定奖励设计:针对不同业务场景,定制化设计奖励函数,提升模型在目标任务中的表现能力。 2.环境模拟与数据生成:构建高保真场景模拟环境,开发高效的数据采样与生成机制,提升强化学习训练效率。 3.迁移与泛化能力增强:研究多场景迁移学习与元强化学习方法,提升模型从通用能力到场景定制能力的转化效率。 4.推理增强型RAG系统:基于图结构的知识融合、混合模型的协同推理架构和强化学习驱动的优化方法,进一步提升RAG系统能力。 5.基于价值观约束的大模型风险控制与安全防护。