阿里巴巴研究型实习生-业务技术-语音生成与交互算法实习生
任职要求
职位要求： 1. 计算机、人工智能、信号处理、自动控制等相关专业背景的在读硕士或博士； 2. 扎实的算法和编程能力，熟练掌握 Python 编程及 PyTorch/TensorFlow 等主流深度学习框架； 3. 在语音多模态大模型某一领域（V…
工作职责
面向淘宝直播数字人场景，研究探索语音大模型等前沿技术，提升技术影响力： 1. 负责语音大模型等前沿算法研究，包括语音对话系统、语音理解与生成、语音强化学习等方向，参与架构设计、训练调优及迭代工作； 2. 负责端到端语音交互模型的前沿探索，优化数字人全双工语音交互架构，包括智能打断、上下文感知、情感交互理解、流式输入输出等，解决级联模型等语义割裂与延迟问题； 3. 负责高表现力语音合成算法探索，参与数字人TTS系统研发，包括多情感、高表现力的电商直播感染力语音建模，实现语音、重音、情感的动态可控； 4. 参与团队合作，与团队一起解决技术难题，推动技术落地，产出高质量学术论文和专利。
1. 探索基于强化学习的智能运维（SRE）Agent技术，通过模拟复杂故障场景训练决策策略，构建具备根因诊断、自主决策的智能系统，结合推理规划、多轮工具调用、因果推断与反事实推理等前沿技术，推动运维智能化的突破性进展。 2. 参与核心算法设计与系统开发，探索结合因果建模与反事实推理方法，解决动态环境下的根因诊断与决策优化问题。 3. 基于真实生产数据或开源数据集，搭建故障模拟环境并定义多维度奖励函数，实现多轮工具调用能力（如日志分析、指标监控、配置管理API），构建端到端的智能运维原型系统，设计对比实验评估Agent性能，撰写技术报告并参与论文或专利撰写。
1. 设计并优化职能Agent架构，包括但不限于内部业务知识利用，Agent记忆、上下文工程、工具调用、多智能体协作等，打造AI数字员工，提升职能团队整体工作效率。 2. 参与Agent模型训练过程，包括业务场景相关的SFT数据合成、Agentic RL等，设计高效的策略优化算法，结合私域知识、公域知识、历史经验等信息，通过稳定的Agentic RL，提升Agent多轮交互能力，实现AI数字员工与职能团队的协作效率提升，撰写顶会论文并进行业务落地。
1. 参与基于AI Agent的智能运维系统研发，通过多监控指标的时序预测与自适应阈值动态建模技术，构建高效、精准的故障发现与预警体系，支撑企业级运维场景的智能化升级。 2. 探索端到端的AI算法解决方案，提升故障预测的灵活性与准确性。 3. 探索开发基于AI Agent的多监控指标时序预测方案，融合文本、日志、指标等异构数据，实现跨模态特征提取与动态关联分析。 4. 构建自适应阈值动态建模框架，结合在线学习与强化学习技术，实现阈值随业务负载与环境变化的实时调整。
我们致力于打造淘宝直播场景下“高智商、高情商”的下一代智能数字人主播，通过大模型 + 智能体（Agent） + 强化学习（RL） 的深度融合，构建具备自主决策、实时互动与高转化能力的直播AI系统。你将参与以下前沿探索： 1. 大模型与Agentic RL的协同训练范式研究：探索高效Agentic RL算法（样本效率、奖励函数设计、多智能体协作等）； 2. 多模态Agent研究：融合视觉（商品/表情/动作）、语音、文本等多源信号，通过多模态强化学习优化Agent行为策略； 3. 构建基于Agentic RL的数字人决策引擎：设计可自主调用商品工具、垂域多模态知识库查询工具、控制话术、响应观众意图的智能体架构，实现动态控场、个性化互动与高效转化； 4. 研究基于RL等算法的自主进化Agent； 5. 产出高质量学术论文和专利。