通义研究型实习生-基于大模型的端到端语音同传技术探索与研究

以ChatGPT为开端的语义大模型的解锁，激起了大模型的热潮。而在Chat这类交互体系下，口语语言理解是其下一个重要的技术分支；例如 交互数字人 场景下，Agent如何接收并理解语音转写的用户输入，进行思考、推理并生成符合对话场景的回复用于下游语音合成模型播报。同时，国外近期推出的GPT4o、Gemini-Pro等演示中都展示端到端低时延、自然度高的多模态交互系统。 本项目主要围绕 语音语义大模型 在语音对话场景的应用展开，探索 如何达到低时延的多模态交互，包括 语音语义联合建模、端到端全双工交互、高表现力的口语对话 方向

职位概述 我们正在寻找在视觉-语言-动作（Vision-Language-Action, VLA）领域具有扎实理论基础和丰富实践经验的算法工程师或研究员，致力于构建下一代通用智能机器人系统。你将参与从数据构建、模型设计到仿真训练与实机部署的全链路研发，推动 VLA 大模型在机械臂操作、人形机器人控制等复杂工业与开放场景中的前沿探索与实际落地。 职位描述（Responsibilities） 1. 前沿算法研究与复现 ○ 跟踪 VLA 领域最新进展（如 OpenVLA、RT-2、Pi0、RDT、Diffusion Policy 等），完成 SOTA 算法在仿真与实机环境下的复现与性能分析； ○ 探索基于大模型的端到端机器人决策框架，实现感知→理解→规划→动作的闭环。 2. VLA 模型架构设计与优化 ○ 设计面向工业场景的 VLA 模型结构，重点解决多模态特征对齐、动作序列生成、推理效率优化等问题； ○ 提升机械臂在复杂任务中的操作精度、泛化能力与鲁棒性。 3. Scaling 研究与泛化能力提升 ○ 开展 VLA 的 scaling law 研究，涵盖数据规模、模型结构、机器人构型等维度； ○ 实现长序列任务执行、跨任务技能迁移与动作泛化，在更复杂的工厂或开放环境中验证模型上限。 4. 数据系统与自动标注开发 ○ 参与多模态大模型所需的数据清洗、自动标注与增强系统的开发； ○ 探索高效的数据合成方法（如 sim2real 数据生成、LLM 辅助标注），保障数据质量与多样性。 5. 仿真训练与真实部署 ○ 基于 Isaac Sim / Gym / Lab、MuJoCo 等平台搭建高保真仿真环境，构建强化学习与模仿学习训练框架； ○ 设计 real2sim2real 迁移策略，加速算法从仿真到现实世界的部署； ○ 具备实机调试经验，能独立完成模型在机械臂或人形机器人上的部署与迭代。

1. 探索基于大模型的语音双工交互系统关键技术，包括流式语音理解、增量文本生成、打断检测与恢复等； 2. 参与端侧轻量化语音大模型的研发，开展模型压缩（剪枝/量化/蒸馏）、硬件感知优化与高效推理引擎实现； 3. 参与设计并实现端云任务动态协同调度机制，基于网络状态、用户意图、隐私敏感度等多维上下文，智能分配计算负载，实现性能与隐私的最优平衡； 4. 参与构建支持跨端云一致性的多轮对话状态管理框架，确保长上下文语义连贯性与用户记忆的无缝衔接； 5. 参与建立面向真实场景的端云融合语音系统综合评估体系，从延迟、功耗、准确率、鲁棒性到隐私合规性等维度开展系统级测试与优化。

阿里妈妈-智能广告平台团队负责阿里妈妈核心广告产品的广告主投放效果优化、广告产技能力创新和客户增长。我们通过挖掘广告主多元需求，升级智能投放能力提升投放效果，带动广告预算增长。技术上，我们通过基于大模型、生成算法、强化学习的出价Agent对智能出价系统进行深度优化。 我们在智能出价领域有丰厚的技术底蕴，在NeurIPS、KDD、WWW等国际高水平会议上发表学术论文，并通过技术创新显著提升业务效果。决策智能技术是人工智能的关键研究领域，在大型博弈环境中有广泛应用，例如在线广告、金融市场、电子商务和能源交易。在线广告是典型的大型博弈场景，随着生成算法在广告决策领域的初步成功应用，我们相信决策领域的大模型蕴藏着巨大潜力和广阔的技术探索空间。 具体职责： 1. 深入运用生成算法（如Diffusion、Transformer等）对出价决策模型进行探索与迭代。 2. 探索大模型（LLM）与出价决策模型的融合方案，包括但不限于特征增强、环境建模、端到端决策等。 3. 跟进业界前沿技术趋势，开展前沿算法的研究工作，撰写发表论文。结合实际业务需求，将技术应用到实际业务场景。 加入我们，您将获得： 1. 贴近工业实践的技术挑战，享有丰富的数据资源和强大的计算支持。 2. 深度参与研发团队内部研讨，与顶尖专家共同探讨前沿技术，合作发表国际顶级会议论文。 3. 一对一的行业专家指导，助力业界领先并具有巨大影响力的工作。 4. 可观的实习薪酬以及校招人才计划的绿色通道。