通义通义实验室-AI交互模型算法专家-北京/杭州
任职要求
1. 计算机、人工智能、电子工程等相关专业硕士及以上学历,3年以上AI模型或音频算法研发经验。 2. 在以下至少两个方向有扎实实践: ①基于神经网络/Diffusion/LLM的语音信号处理(增强、降噪、语音修复等) ; ②语音大模型、视觉-语言模型(VLM)或全模态(Omni)大模型的后训练(CPT/SFT/RL) …
工作职责
1. 负责面向AI手机等ToB场景的多模态交互模型研发,包括语音基础模型、视觉-语言模型(VLM)、全模态大模型的后训练(CPT/SFT/RL)与推理优化。 2. 研发基于神经网络、扩散模型或大模型的端侧音频信号处理算法(如语音增强、降噪、去混响),提升复杂声学环境下的语音交互质量。 3. 构建支持自然打断、精准判停、上下文感知的实时双工交互模型,实现低延迟、高鲁棒性的流式对话体验。 4. 针对端侧资源约束,开展模型压缩、量化、蒸馏及高效部署,确保算法在DSP/NPU等嵌入式平台稳定运行。 5. 与系统、产品团队紧密协作,推动算法从原型验证到大规模商用落地。
1. 需求分析与产品规划: -深入调研开发者、企业客户及行业需求,深入理解各种模型能力,定义大模型开发平台的核心功能(如工作流、Prompt工程、RAG增强、Agent框架等),并可以基于开发平台构建 AI 效果领先的垂直场景/行业解决方案; -制定所负责产品或模块的 Roadmap,平衡技术前瞻性与商业化落地节奏。 2. 产品全生命周期管理: -主导功能设计,输出PRD、原型及交互文档,推动算法、工程团队高效交付,协同运营、销售等团队应对和总结客户需求; -负责产品上线后的迭代优化,基于用户反馈和数据洞察持续提升产品体验。 3. 跨团队协作与生态建设: -协同运营团队,推动开发者生态建设,提升平台活跃度与开发者粘性。 4. 行业洞察与竞争分析: -跟踪国内外大模型平台产品动态,制定差异化竞争策略。
蚂蚁ASystem会探索和构建高性能的 AI 自学习基础系统,让语言交互、智能体、具身智能等各类 AI 场景都能基于这个基础系统走向高效的自我演进,迈向更高的智能水平。 1. 研发新一代训推混合计算系统,优化训推分布式并行技术,实现大规模T级参数模型训练和 100X 性能提升; 2. 以“X+RL”范式建设新一代强化学习框架,实现多轮交互、过程奖励、大规模模拟环境等能力,支持各类智能体和搜索场景学习能力提升; 3. 结合软硬件优化分布式并行计算和调度系统,提升大模型在训推一体、长推理效率和弹性训练的能力,大幅降低智能计算成本;
淘天集团未来生活实验室,聚焦于AI的发展,打造支撑电商及AI Native的大模型基座能力,兼顾对1-3年内和未来生活场景相关的前沿技术的研究和关注。既要支持好各个前台场景的AI化,又肩负起探索未来技术趋势的责任。 1. 探索多模态大模型,包括多模态大模型预训练、SFT微调、及RLHF对齐等技术; 2. 探索图像和视频的统一表征方法,以及长视频的高效表征压缩技术; 3. 探索将多模态大模型用于图像理解、视频理解、视觉推理、视觉多轮交互、实时对话等任务; 4. 探索原生多模态大模型的架构与训练范式; 5. 结合淘天业务场景,推动多模态大模型在淘天搜索、推荐、广告等业务中的应用。
团队介绍:Data-电商-智能对话团队,致力于打造业界领先的大模型对话系统。团队服务的日活用户超过数亿,应用场景覆盖抖音电商全链路,包括平台客服、平台商服、商家客服、达人客服,以及创新的智能导购等核心业务场景,通过持续的技术创新和优化,成功构建了一套完整的智能对话解决方案,为电商业务带来了显著的效率提升和用户体验改善。 课题介绍: 背景:电商智能客服正逐渐成为业务增长和用户体验优化的重要方向,基于大型语言模型(LLM)的智能客服系统解决电商场景中的核心挑战,由LLM完成一次用户进线的完整接待过程,包括诉求澄清、方案协商、方案执行等阶段,实现电商业务的智能化升级——让用户享受更智能高效的客服服务。 研究方向:本课题聚焦于LLM 后训练与智能客服。构建基于 LLM 的多智能体(Multi-Agent)框架,通过规划、回复、工具三类Agent的协作,实现从问题分析、方案执行到结果反馈的全流程智能客服。核心目标是确保客服对话的准确性、合规性与流畅度,避免模型生成幻觉或违背平台政策。同时,围绕电商客服的复杂任务,构建 Benchmark数据集,优化SOP遵循、多轮交互、用户满意度等指标。此外,研究高效数据利用方法,探索低标注数据条件下的LLM训练,并开发自动生成高质量训练数据的系统,以降低人工标注成本,提高智能客服的服务质量与效率。 1、开发AI驱动的智能客服系统:设计并实现AI对话式客服助手,能够处理电商咨询、投诉、退款、争议解决及物流相关问题,以AI替代传统人工客服; 2、大语言模型(LLM)后训练与高效学习:应用最前沿的LLM训练优化技术,如指令微调、强化学习、持续学习等,在最少标注数据的情况下优化AI客服响应质量;具备大语言模型(LLM)微调、知识蒸馏或强化学习的相关经验,应用于对话式AI场景;深入理解检索增强生成(RAG)、专家混合模型(MoE)、稀疏注意力、强化学习、推理时间优化等技术,以提升AI对话质量; 3、基准测试与训练数据构建:识别具有挑战性的客服交互场景,如政策解读、争议处理、客户投诉、导购推荐等,并构建专门的测试集和训练集; 4、多语言与跨文化客服支持:构建能够适应多语言和不同文化背景的AI模型,确保客服交互的精准翻译和针对不同用户群体的合适响应;精通多语言自然语言处理(NLP)、机器翻译及跨语言对话建模; 5、模型优化与高效部署:研究模型压缩、量化、推理优化等技术,确保AI客服助手在大规模应用场景下具备低延迟、高可靠性的表现。