通义研究型实习生-面向实时交互场景的3D数字人语音动作同步生成技术研究
任职要求
1.计算机科学、人工智能、数学等相关专业在读硕士或博士研究生，具备良好的学术背景和研究能力，相关领域优先； 2.具备扎实的3D视觉与多模态大模型理论基础，对3D交互数字人、语音驱动表情生成、虚拟角色建模等前沿方向有浓厚兴趣和一定研究经验； 3.在计算机视觉、图形学、AI建模等领域发表过高水平会议或期刊论文者优先；在国际技术评测、行业竞赛中取得 Top 成绩，或在开源社区中有积极贡献与影响力者优先； 4.需在项目期间产出 1-2 篇高质量顶会论文，具备独立科研能力和成果输出意识。
工作职责
随着大语言模型的快速发展，3D虚拟数字人实现自然对话与情感陪伴已成为可能。本项目致力于探索端到端的语音与数字人表情动作同步生成方法，旨在提升3D数字人的交互表现力与响应效率，增强其在对话过程中的真实感和自然度，推动3D数字人在多模态交互场景下的广泛应用。
【课题说明】 Agentic Search是以大模型为核心，具备自主感知、推理与行动能力的搜索新范式。它通过理解用户复杂意图，动态规划搜索路径，主动调用多种工具和数据源，持续优化结果推荐与交互体验。本课题旨在研究和构建面向美团App本地生活服务的Agentic Search系统，探索其在多轮对话、复杂任务分解、实时信息整合等场景下的关键技术与应用价值，推动本地生活智能搜索技术的创新升级。 【建议研究方向】 1.意图理解与任务分解：探索大模型在复杂用户需求下的多意图识别、任务分解、子任务规划能力，提升系统对复合型检索场景的适应性和响应能力。 2.多轮工具调用技术研究：赋予LLM长链路的多轮工具调用能力，打造基于强化学习等前沿技术的LLM后训练方案，提升多轮调用时的精确性及用户的实际交互体验。 3.增量学习训练技术探索：针对本地生活场景中数据不断更新的特点，运用增量学习技术，使 AI 搜索模型能够快速适应新数据。 搜索结果可解释性提升：探索基于大模型内容深度理解与推理的可解释理由生成，增强用户对搜索结果的信任感和透明度。
随着数据量的爆炸性增长以及业务复杂性的增加，诸如图、文档、时空、时序等非结构化数据类型规模和价值都越发重要。需要研究更有效率的非结构化数据的处理、存储、分析的技术，尤其是与结构化数据融合进行分析的手段，将来自不同来源、格式、结构或模型的数据整合到一个统一的系统中，以实现数据共享、分析和决策支持。 我们的研究内容包括： 1. GPU加速的多模态数据处理，如fts、向量检索以及索引建立。GPU高效池化以及远程GPU调用，查询算子以及后台数据重整任务的高效远程GPU卸载； 2. 非结构化数据，如json、文档等自动语义发现与解析、数据模式匹配与语义对齐、对象关联分析。结合NLP等技术，实现从原始数据到结构化语义的高效转化； 3. OLTP高效入湖。结合数据湖的灵活性（存储非结构化数据）与数据仓库的结构化管理能力（如ACID、事务支持、元数据管理），通过存储层创新、计算引擎优化和云原生技术，实现不同业务的高效协同。
我们正在寻找对人工智能、多模态数据处理、系统性能优化感兴趣的实习生，参与一个面向多模态数据获取、解析、压缩与高效传输的研究课题。该课题聚焦于提升多模态系统在复杂环境下的实时性表现与资源利用率，具有广泛的应用前景（如智能运维、RAG检索增强生成、边缘计算等）。你将参与的工作包括但不限于： 1. 多模态数据采集与预处理：从网页、API、数据库、摄像头、麦克风等来源获取文本、图像、音频和视频数据； 2. 多模态数据解析与特征提取：使用OCR、ASR、NLP、CV等技术解析不同模态内容； 3. 模型轻量化与加速：探索基于Transformer、CNN、LSTM等模型的压缩、蒸馏、量化方法； 4. 系统级优化与部署：设计低延迟、低资源占用的数据处理流程，支持在边缘设备上运行； 5. 性能评估与实验分析：构建测试集，评估系统的吞吐量、响应时间、准确率等关键指标； 6. 撰写技术文档与研究报告：整理实验过程、结果与改进建议。 技术要求（优先但不强制）： 1. 熟悉Python编程语言，有良好的代码规范； 2. 了解基本的NLP、CV或语音识别技术； 3. 掌握至少一种深度学习框架（PyTorch/TensorFlow）； 4. 熟悉Linux系统及常用命令行工具。 有以下经验者优先考虑： 1. 多模态任务处理经验（如CLIP、Flamingo等）； 2. 模型压缩与部署经验（如TensorRT、ONNX、OpenVINO、TVM等）； 3. 使用过音视频处理工具（如FFmpeg、OpenCV、Whisper、YOLO等）； 4. 有一定系统编程能力（C/C++、CUDA、FPGA基础）。
专注于广域网与互联网运营的关键算法、模型与系统研究、探索和开发，具体职责包括： 1.探索面向质量、成本与资源协同优化的广域网优化算法研究； 2.深入广域网质量、成本与流量模型分析，结合用户画像，打造业界领先的广域网智能化运营引擎； 3.结合模型、算法并基于海量数据，探索构建高性能的实时在线优化引擎； 4.基于算法及引擎，为第三方系统提供优化求解服务化能力，助力经营优化；