通义研究型实习生 - 面向实时交互场景的3D数字人交互式表情动作同步生成技术研究

随着大语言模型的快速发展，3D虚拟数字人实现自然对话与情感陪伴已成为可能。本项目致力于探索端到端的语音与数字人表情动作同步生成方法，旨在提升3D数字人的交互表现力与响应效率，增强其在对话过程中的真实感和自然度，推动3D数字人在多模态交互场景下的广泛应用。

1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。

【课题说明】 Agentic Search是以大模型为核心，具备自主感知、推理与行动能力的搜索新范式。它通过理解用户复杂意图，动态规划搜索路径，主动调用多种工具和数据源，持续优化结果推荐与交互体验。本课题旨在研究和构建面向美团App本地生活服务的Agentic Search系统，探索其在多轮对话、复杂任务分解、实时信息整合等场景下的关键技术与应用价值，推动本地生活智能搜索技术的创新升级。 【建议研究方向】 1.意图理解与任务分解：探索大模型在复杂用户需求下的多意图识别、任务分解、子任务规划能力，提升系统对复合型检索场景的适应性和响应能力。 2.多轮工具调用技术研究：赋予LLM长链路的多轮工具调用能力，打造基于强化学习等前沿技术的LLM后训练方案，提升多轮调用时的精确性及用户的实际交互体验。 3.增量学习训练技术探索：针对本地生活场景中数据不断更新的特点，运用增量学习技术，使 AI 搜索模型能够快速适应新数据。 搜索结果可解释性提升：探索基于大模型内容深度理解与推理的可解释理由生成，增强用户对搜索结果的信任感和透明度。

【岗位定位】Job Overview 1、本岗位面向具备跨媒介思维与系统设计能力、0到1创新落地能力的综合型设计人才，聚焦未来人形机器人在造型系统、视觉语言、人机感知交互体系、行为准则等维度的全链路设计构建与表达； 2、作为未来机器人设计团队的核心人才储备，该岗位以培养跨界创新思维与系统化问题解决能力为目标，支持从概念建构到落地实现的完整设计链路； 3、欢迎对未来智能物种与人机关系充满探索热情，具备跨领域实验精神，并希望建立“设计 × 技术 × 表达”复合能力模型的创意型人才加入。让我们在算法逻辑与美学逻辑交汇的前沿，共同探索面向未来的人形机器人设计方法论。 What You Will Do 1、参与人形机器人整机多维度的设计探索，涵盖造型、交互、行为、视觉语言等维度； 2、运用 编程交互 / 软硬件连接 / 实时动捕 / 3D 动态表达 等手段，支持机器人原型开发、功能验证与行为演示； 3、与结构工程、感知算法、人机交互、产品规划与研发等部门共建设计驱动方案，推进设计与工程之间的平衡与美学体验，实现人文艺术与科技的高度结合； 4、参与人机交互相关的设备调通、HRI参数调试、高质量算法数据采集与测试，协助构建跨媒介响应原型； 5、针对未来人形机器人语义、美学、体验趋势开展前瞻性研究与创意提案输出； 6、支持产品传播与对外展示场景，包括视觉语言、界面风格、产品图形等 touchpoint 设计。 【你将获得】What You'll Gain 1、深入机器人、人工智能领域的机器人产品部门实习机会； 2、与robotics专家们、结构工程师们合作，思维产生激烈碰撞的创新环境； 3、有机会参与令人激动的下一代人形机器人的本体设计和开发工作，获得相关经历。 【我们是谁】About Us 1、国内最早专注于人形机器人研发的团队之一，持续深耕于产品系统设计与体验创新领域； 2、拥有中美双团队架构，硅谷与国内核心团队并行协作，形成技术与设计并重的创新氛围； 3、一个追求极致效率、勇于打破边界、致力于以设计驱动体系革新的团队。 【我们的优势】Our Advantages 1、依托小鹏的技术与产业资源优势； 2、直接参与新一代人形机器人造型与交互研发； 3、快速验证创意到可制造产品的完整链路； 4、团队文化开放、务实、专注于结果与成长。