小米顶尖应届-大模型前沿语音研究工程师-AI实验室
任职要求
任职要求: 1. 硕士及以上学历,CS/EE/数学相关专业; 2. 优秀的软件工程素养,精通Python、C/C++程序设计; 3. 熟悉TensorFlow或PyTorch等深度学习框架; 4. 熟悉语音识别和语音合成,并且动手实践过相关的系统。 加分项: 1. 良好的英语沟通能力; 2. 对语音大模型进行过探索或了解; 3. 优秀的数理基础,能够快速理解掌握语音领域的数值计算法; 4. 参与过开源项目,并贡献有价值的 commits。
工作职责
岗位描述: 1. 负责开发和维护新一代Kaldi开源生态(https://github.com/k2-fsa); 2. 基于新一代Kaldi,参与新型语音技术研究,与Daniel Povey合作发表论文; 3. 与小米语音团队合作,结合新一代Kaldi,为小米全平台设备(包括但不限于汽车、手机、智能音箱、智能穿戴等AIoT设备)打造智能语音算法。 【课题名称】 大模型背景下前沿语音技术研究 【课题内容】 1. 探索语音预训练技术; 2. 大模型背景下语音识别技术的升级与突破; 3. 语音生成技术。
T-Star计划是阿里巴巴淘天集团顶尖人才招聘和培养项目,继承“阿里星〞的使命与愿景,面向全球招募顶尖技术人才。首次开设实习生专项招聘,面向2025年10月后毕业的校优秀技术同学。期待你们在淘天,通过极具挑战的前沿课题与亿级规模的海量数据、应用场景,探索和实践最前沿的Al技术,在有价值的业务场景落地技术成果。 你的挑战: 攻克LLM全链路训练难题:主导大模型训练,优化模型Scaling Law,结合应用需求突破分布式性能瓶颈,基于RL增强模型推理能力,打造电商领域最懂用户需求的超级大脑(含多模态VLM研发)。 为什么选择淘天? 1.坐拥电商领域最大规模场景:每天处理数亿次用户交互,覆盖搜索/推荐/广告/客服/营销全链路,你将直接面对全球最复杂的电商需求场景。 2.定义未来购物标准:你研发的模型将服务数亿消费者,结合大语言和多模态模型能力满足用户偏好,影响海量商家经营决策。 3.顶级科研配置:超大规模GPU集群支持大规模参数模型训练,自研分布式框架实现训练推理效率大幅提升,顶级会议发表,前沿技术成果即时输血。 加入我们,你将获得: 1.与NLP/多模态领域顶尖团队共创,解锁大模型在商品理解、智能创作、消费决策、购物对话等场景的无限可能。 2.弹性化的技术路线选择权,既可在大模型基础技术方面突破能力上限,也可深入应用层打造现象级AI产品。 3.打通产学研用全链路:支持技术成果转化顶会论文和专利+百万级ai native用户产品。 T-Star实习可以带给你什么? ꔷ ①加入前沿技术探索队伍,参与顶级课题研究,有机会实现工业界项目落地。②跟企业大牛导师/学术界名导一起做有价值的课题。③丰富的技术资源、海量的数据与优秀的团队助力发paper ꔷ 投递T-Star实习生,提前解锁淘天顶级技术岗位,实习与T-Star正式批/应届秋招投递不冲突。拿到T-Star意向书的同时,将获得直通正式批次终面的机会;参与T-Star实习且表现优秀的同学,提供T-Star转正Offer。
1. 大规模语音模态预训练 研究如何用千万小时级别语音数据在百亿级别参数模型上进行高效预训练,有效提取与利用通用声学与语义特征,提升语言理解及语音生成的一致性和自然度; 2. 多语言语音理解与生成 研究跨语言语音数据的共享表示方法,提升语音模型对多语言、方言的适配能力; 3. 噪声环境及复杂声学场景下的处理能力 研究语音大模型在嘈杂、混响、远场等典型场景下的泛化性; 4. 探索高效语音信息压缩方法 研究语音模态压缩方法,以实现长时理解,并适配不同类型的设备(云侧和端侧)的部署需求。 【课题名称】 语音理解和生成大模型 【课题内容】 本课题拟围绕先进的语音理解与生成大模型,研发面向复杂场景的通用语音技术。项目将通过大规模语音数据预训练与强化学习方法,探索高鲁棒性、高自然度的语音理解与生成能力。
1. 聚焦语音/音频生成大模型技术研究,涵盖多模态融合,提升长序列建模能力与实时性; 2. 研发风格与情感可控技术,构建语义-时序-声学等多级可控接口,支持音色迁移与交互式编辑; 3. 落地助手、无障碍等小米应用场景,发表顶会论文一篇以上,申请专利两项以上。 【课题名称】 语音生成大模型研究与应用 【课题内容】 研究语音或音频生成与编辑大模型相关技术,优化生成效果及可控性,平衡效率与效果,探索前沿的声音生成技术方案等。
近年来,以大模型为核心的生成式人工智能技术在语言理解、内容生成、多模态建模与跨模态交互等领域取得了突破性进展,展现出前所未有的技术潜力与广泛的应用前景。 我们致力于通用人工智能(AGI)方向的前沿探索与产业落地创新。一方面,在迈向AGI的长期路径中,随着大语言模型能力的持续进化,多模态感知、融合与推理等关键问题日益凸显,成为构建通用智能系统的核心挑战;另一方面,围绕典型行业场景(如智能交互、高质量内容生成、跨模态检索与理解等),如何将现有大模型能力有效转化为可落地、可扩展、可持续的解决方案,也成为当前研究与工程实践的重点方向。 如果你对生成式AI、通用人工智能(AGI/ASI)前沿探索、多模态建模与智能交互系统有浓厚兴趣,并渴望深入参与下一代多模态通用模型的研发与演进,欢迎加入我们,共同定义未来AI的能力边界,牵引千行百业在智能时代的深度变革。 1. 多模态大模型算法创新:定义下一代多模态通用大模型技术范式,实现文本、语音、视觉模态的联合建模,探寻和解决多模态对齐、推理、Agentic等方面的核心挑战,不断追寻多模态通用大模型的效果上限。 2. 场景驱动的算法创新:结合业务场景(如智能交互、内容生成、跨模态检索等),设计并优化大模型架构,提升效果、效率与鲁棒性。 3. 端到端技术闭环:从数据构建、模型训练、评测到部署,主导技术方案落地,通过AB实验、调用量、用户反馈验证价值。 4. 前沿应用技术探索:紧跟并能驱动LLM、Diffusion Models、强化学习等技术相关进展,定义技术新范式,快速实验并迭代创新方案,拉升相关模型SOTA。