阿里巴巴语音与全模态工程师-ASR/TTS/Omni
实习兼职阿里巴巴日常实习生地点：北京 | 杭州状态：招聘
任职要求
1. 人工智能、计算机、声学等相关专业在读硕士或优秀本科生。 2. 熟悉 Python 及 PyTorch 框架，扎实掌握 Transformer 架构，对 LLM 原理有基本理解。 3. 对 Omni LLM、多模态学习或语音技术（ASR/TTS）有浓厚兴趣，具备相关课程项目或自学经历者优先。 4. 具备良好的英文文献阅读能…
登录查看完整任职要求
微信扫码，1秒登录
工作职责
1. Speech & Omni 模型研发：进行支持语音、文本等多模态输入输出的端到端大模型训练与微调，优化模态间的对齐机制及交互延迟。 2. 多模态数据处理：构建高质量的语音-文本-图像混合指令数据集，探索利用合成数据提升模型在复杂场景下的理解与生成能力。 3. 前沿技术探索：跟进 Omni LLM 最新进展（如流式语音交互、情感控制、非语言声音理解），复现 SOTA 基线并协助验证新算法效果。 4. 评测与 Bad Case 分析：建设完善多模态综合评测体系，深入分析跨模态幻觉、指令遵循偏差等问题，输出改进策略。
包括英文材料
Python+
https://liaoxuefeng.com/books/python/introduction/index.html
中文，免费，零起点，完整示例，基于最新的Python 3版本。
https://www.learnpython.org/
a free interactive Python tutorial for people who want to learn Python, fast.
https://www.youtube.com/watch?v=K5KVEU3aaeQ
Master Python from scratch 🚀 No fluff—just clear, practical coding skills to kickstart your journey!
https://www.youtube.com/watch?v=rfscVS0vtbw
This course will give you a full introduction into all of the core concepts in python.
PyTorch+
https://datawhalechina.github.io/thorough-pytorch/
PyTorch是利用深度学习进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。
https://www.youtube.com/watch?v=V_xro1bcAuA
Learn PyTorch for deep learning in this comprehensive course for beginners. PyTorch is a machine learning framework written in Python.
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
大模型+
https://www.youtube.com/watch?v=xZDB1naRUlk
You will build projects with LLMs that will enable you to create dynamic interfaces, interact with vast amounts of text data, and even empower LLMs with the capability to browse the internet for research papers.
https://www.youtube.com/watch?v=zjkBMFhNj_g
语音识别+
https://developer.nvidia.com/blog/essential-guide-to-automatic-speech-recognition-technology/
Over the past decade, AI-powered speech recognition systems have slowly become part of our everyday lives, from voice search to virtual assistants in contact centers, cars, hospitals, and restaurants.
还有更多 •••
相关职位
实习阿里巴巴2027
1、负责语音生成/语音识别/语音合成/声纹/语种/情感等方向的算法研究和开发； 2、负责语音信号处理的相关算法研究和开发，包括语音增强、回声消除、混响消除、自动增益控制、波达方向估计、波束形成等； 3、负责口语语言理解/用户意图理解/对话模型/语音交互等算法研究和开发； 4、语音统一多模态大模型：研究下一代多模态通用大模型技术范式，实现文本、语音、视觉模态的联合建模。
更新于 2026-03-17北京|杭州
社招3年以上技术类-算法
1.参与前沿语音生成大模型的研发，涵盖数据体系设计、模型架构设计、训练优化等。 2.探索语音合成、声学建模、自然语言处理等多模态融合技术，提升模型在语音质量、自然度及逻辑推理能力上的表现。 3.针对实际应用场景（音色克隆、情感控制等）优化模型效果和性能，解决复杂技术难题。
更新于 2026-04-02北京|杭州
社招3年以上技术类-算法
1.参与前沿语音生成大模型的研发，涵盖数据体系设计、模型架构设计、训练优化等。 2.探索语音合成、声学建模、自然语言处理等多模态融合技术，提升模型在语音质量、自然度及逻辑推理能力上的表现。 3.针对实际应用场景（音色克隆、情感控制等）优化模型效果和性能，解决复杂技术难题。
更新于 2026-04-02北京|杭州
实习通义研究型实习生
本岗位以音频评测基准构建为核心，填补当前全双工语音交互、高表现力语音与音乐生成评测体系的空白。实习生将主导全双工语音对话评测基准的设计与构建，建立覆盖情感、韵律、风格等维度的高表现力语音与音乐生成细粒度评估指标，研究LLM-as-Judge自动化评估方法并构建统一评测框架，同时探索低延迟交互架构与可控生成技术，为业界提供可复现、标准化的音频大模型评测解决方案。
更新于 2026-06-02杭州