通义通义实验室-语音识别/语音大模型算法专家-通义百聆
任职要求
1. 计算机科学、信号处理、语音处理、人工智能等相关领域硕士及以上学历。 2. 2年以上音频AI研发经验，包括但不限于 音频识别及理解、音频生成、数字人、多模态交互 等方向。 3. 扎实的深度学习基础，熟练掌握PyTorch/TensorFlow等框架。 4. 优秀的编程能力（Pyt…
工作职责
团队介绍： 我们是阿里巴巴通义实验室语音团队，在音频AI领域持续推动技术创新与产业落地。我们的成果包括： 1. ModelScope平台语音/音频板块核心算法团队 2. FunASR、CosyVoice、3D-Speaker等开源社区发起者与核心维护团队 3. 通义听悟（tingwu.aliyun.com）音频及语义算法团队 4. 阿里云智能语音交互及灵积语音模型服务核心算法提供方 岗位职责： 1. 主导多模态理解/音频大模型的前沿算法研究及产业落地。 2. 音频理解方向： （1）研发语音识别、语音翻译以及音频分析等理解算法。 （2）开发跨模态（语音/文本/视觉）的音频语义理解系统。 （3）探索音频大模型架构设计。 （4）推动算法成果转化：通过ModelScope开源社区创造研究价值，或通过阿里云产品体系创造商业价值。 （5）持续跟踪国际前沿技术动态（ICASSP/Interspeech/NeurIPS/ICLR等），参与国际会议、研讨会，与全球顶级团队进行交流合作。
1. 负责语音合成、语音识别、端到端语音交互大模型算法的基础研究和应用落地。 2. 参与语音合成与识别技术在业务场景落地，解决落地过程中的前沿问题，持续优化语音合成与识别核心技术效果。 3. 深入调研和关注音频/NLP/多模态/全模态等方向的前沿技术，持续探索语音技术的新能力和新应用。
1. 负责语音识别和语音对话大模型的算法研发与优化，包括声学模型、LLM模型和解码器等，探索新的算法架构，建设高效率、低时延的语音应用系统。 2. 结合业务需求，持续改进现有模型的性能，确保其在不同应用场景下的准确性和鲁棒性，提升语音助手和语音智能体用户体验。 3. 构建和管理大规模语音识别和语音对话语料库，用于训练、验证和测试模型。 4. 跟踪前沿技术和研究动态，提出新颖的算法思路和解决方案。
1. 主导端侧AI推理框架的整体架构设计与核心模块开发，支持Omni、Speech、VLM等多模态大模型在资源受限设备上的高效运行。 2. 深度优化模型推理性能，包括但不限于算子融合、内存复用、图优化、量化（INT8/INT4）、稀疏化、编译优化（如MLIR/TVM）等关键技术。 3. 针对高通、地平线、MTK、NVIDIA、华为昇腾等主流芯片平台，进行定制化适配与极致性能调优，实现低延迟、低功耗、高吞吐的推理能力。 4. 构建端侧多模态任务调度与资源管理机制，支持语音识别、视觉理解、对话生成等多模型并发执行与协同推理。 5. 与算法、系统、硬件及客户解决方案团队紧密协作，推动从模型训练到端侧部署的端到端Pipeline打通。 6. 跟踪业界前沿技术（如WebNN、ONNX Runtime Mobile、TensorRT-LLM、ExecuTorch等），引入先进工具链与优化策略。
1. 作为技术负责人，制定并推动多模态交互系统的端云整体工程架构演进路线，覆盖端侧推理、客户端集成、云端服务及协同策略。 2. 主导端侧AI推理框架的设计与优化，包括模型加载、算子加速、内存管理、功耗控制、异构计算（CPU/GPU/NPU）调度等，确保大模型在资源受限设备上的高效运行。 3. 负责Android客户端核心交互模块的架构设计与开发，包括多模态输入采集、实时通信、状态管理、离在线切换、异常恢复等关键能力。 4. 设计高并发、低延迟、可扩展的云端推理服务架构，支持语音识别、大模型生成、多模态融合等服务的弹性部署与动态扩缩容。 5. 构建端云协同机制，实现任务卸载、上下文同步、模型热更新、A/B测试等能力，提升系统整体鲁棒性与迭代效率。 6. 带领应用工程团队，负责关键技术方案评审、核心模块编码、性能压测、线上稳定性保障及团队技术能力建设。 7. 与算法、产品、芯片、测试及客户解决方案团队紧密协作，推动系统从原型验证到规模化商用落地。