蚂蚁金服蚂蚁集团-语音算法专家-杭州/北京
任职要求
1. 计算机科学、电子信息、语音等相关专业本科及以上学历，2年以上人工智能算法相关工作经验； 2. 对语音方向有浓厚兴趣，熟悉语音领域的前沿技术，精通语音识别或语音合成至少一个领域；在相关领域期刊/会议（如ICASSP、InterSpeech等）发表过文章者优先； 3. 语音识别方向：精通语音识…
工作职责
1. 面向蚂蚁集团AGI产品研发语音相关能力，助力蚂蚁集团基于大模型的智能交互业务发展； 2. 探索并落地前沿的语音算法技术，方向包括但不限于语音识别、语音合成、语音克隆等； 3. 负责和承接蚂蚁集团数十个场景中涉及的语音识别、语音合成的算法能力建设。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求； 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型； 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
1、嵌入式AI系统开发： • 负责RTOS系统平台上多模态AI终端产品的研发，包括方案评估、软件架构设计、核心功能模块（如人脸/手势识别、行为分析）开发与部署； • 主导端侧AI模型轻量化、跨平台推理框架适配（TensorFlow Lite/MNN/NCNN）及NPU芯片的性能优化（如内存、功耗、实时性）； • 结合硬件特性设计轻量化模型架构，完成从算法训练到嵌入式端侧部署的全链路开发。 2、多模态算法工程化： • 优化计算机视觉算法在嵌入式设备（IoT/AR硬件/AI机器人）的落地效果，解决低算力、高延迟、多干扰场景下的工程挑战； • 开发芯片算子库适配方案，参与芯片选型、AI工具链优化及端云协同架构设计； • 探索多模态交互（视觉+语音+传感器）在智能终端的创新应用，如AI玩偶、陪伴机器人等。 3、跨团队协作与交付： • 与芯片厂商、算法团队、硬件团队协同开发，主导端侧SDK集成及性能调优，确保产品按时交付； • 支持产品量产落地，保障系统稳定性与用户体验。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、团队负责公司大模型的研发和应用，研究相关技术在搜索、推荐、广告、创作、对话和客服等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式；主要工作方向包括： 1）优化&创新RLHF算法训练效率与模型泛化能力； 2）Long CoT技术的实现和应用； 3）多模态大模型（文本、图像、语音）的Posttraining算法； 4）构建高质量、多领域的数据合成方法； 5）探索LLM在情感对话、创作等场景的应用。
在算力驱动的 AGI 和人文精神的烟火气交汇之处，我们真诚邀请对大模型 Omni Model 有热情的同学加入，共同打造更具影响力的智能系统。你会成为团队的一员，并和其他同事协作，共同研发 SOTA 的 Omni Model。期待你以务实和客观的科学态度来推进技术的进展，不被过往经验裹挟、不被主观偏好影响。期待你除了算法外仍然是为出色的工程师。期待你对技术有强烈的好奇心和开放心态。 区别于传统 ASR / TTS 级联技术，我们希望打造端到端的 Omni Model 在实时交互中释放大模型的智力水平，彻底改变以 Chatbot 文字为主的人机交互界面 岗位说明：你会负责围绕大模型 Omni Model 构建语音模态的相关研究工作，包括但不限于如下事项 海量的语音数据处理和构建：定性分析、定量评估数据质量，并给出 scalable 的改进方案；探索跨模态（文字/视觉/语音）混合训练的最佳实践； 探索更加高效且合理的模型架构，让模型更加理解音频，同时让模型具备更好的语音合成能力 研究并探索基于 Omni Model 的 Post Train，包含但不限于 SFT 和 RL