阿里巴巴研究型实习生-结合副语言和丰富音频信息的对话技术研究
任职要求
1、计算机/人工智能/认知科学等相关专业在读硕士/博士； 2、有扎实的理论基础，对大模型、多模态建模、强化学习等相关技术研究感兴趣； 3、加…
工作职责
以 GPT-4o、Gemini Live 为代表的端到端语音对话技术正逐步取代传统 ASR+LLM+TTS 级联架构，但当前方案普遍忽略犹豫、笑声、语调等副语言信号，也难以利用环境声、背景人声等丰富音频上下文，导致对话机械、缺乏共情。在车载、AI 眼镜、智能音箱、陪伴硬件等场景对自然交互需求日益提升的趋势下，副语言与音频上下文建模将成为下一代语音交互产品的核心竞争力。 现有端到端语音对话模型主要聚焦语音到语音的直接映射，对副语言现象建模较弱，难以利用非语音音频信息进行上下文感知，也缺乏对多说话人主体和话题语义的辨识能力，且在长程任务与复杂音频推理上表现不足。本课题旨在探索副语言、丰富音频上下文与 Agentic 能力在端到端对话模型中的统一建模路径，交付具备拟人化交互体验的下一代语音对话系统。 研究方向： 1、Voice Agentic 长程任务与音频推理：研究多步骤任务规划、工具调用、跨轮次记忆管理，并探索对说话人意图、情感变化及环境事件的综合推断，实现从"应答式助手"到"主动式伙伴"的跃迁。 2、副语言感知的对话能力建设：聚焦犹豫、情绪、年龄、性别等副语言信号，研究将其编码为端到端模型可用的语义表征，使模型在内容、语气与节奏上体现共情反馈。 3、多说话人感知与多方对话：研究多方对话中说话人角色的动态识别，探索对话意图与说话人目标的联合建模，实现端到端的多方语义解析。 4、指定说话人的端到端对话：研究声纹特征的隐式编码与说话人身份的动态绑定，支持个性化回复与跨 session 身份记忆，服务于智能音箱家庭成员识别、车载驾乘差异化服务等场景。
1.基于电商业务场景需要，训练电商生成式预训练底座大模型； 2.根据电商的数据特点，基于In-Context Learning增强电商训练效果； 3.评估电商下游任务效果。
1. 跟进和研发推荐排序模型的优化， 结合大模型相关技术， 推动排序模型离线/在线指标增长, 探索排序模型的新范式。 2. 结合以上方向的探索和研究，撰写发表论文，和业界、学术界保持良好的交流。
目前，随着数据库管理的数据越来越多，关系越来越复杂，数据库系统的性能也面临着很大的挑战。传统上，基于专家经验的优化技术（如代价估计，连接顺序选择，参数调优）已经不能在session级别，快速满足异构数据、海量应用和大规模用户对数据库系统性能的严苛需求。我们需要设计基于机器学习/深度学习的数据库优化技术，使得之前很硬的规则变成随着数据分布、应用查询和人为性能要求而动态变化和取舍的软规则。这样，数据库系统才能更好服务于现代的用户负载。
随着互联技术的快速发展，CXL（Compute Express Link）为云原生数据库架构设计与优化带来了全新机遇。CXL通过与本地内存一致的load/store语义，实现硬件支持的内存池化和共享，并支持多种形式的内存扩展。本项目聚焦于探索CXL在云原生数据库中的应用，主要研究内容包括但不限于以下几点： 1. CXL分离式内存场景下的索引设计与优化：研究如何在分离式内存模型中构建高效索引，提升数据访问性能。 2. 基于CXL共享内存的分布式事务协议优化：设计适配CXL共享内存特性的分布式事务协议，提高事务处理效率。 3. 基于CXL共享内存的新分布式锁协议：开发高效的分布式锁机制，以更好支持并发控制。 通过本项目，将充分挖掘CXL在云原生数据库中的潜力，推动架构的灵活性和性能进一步提升。