阿里云阿里云智能-语音&全模态大模型算法工程师-后训练方向-杭州/北京
任职要求
1、计算机、人工智能等相关专业硕士/博士学位，在语音处理、多模态学习、大模型后训练等领域具备扎实的理论基础； 2、实战经验与工程能力： ● 有实际落地语音或音视频多模态项目经验，能处理真实场景中的噪声、口音、多说话人、低资源等问题； ● 熟悉主流语音模型（如 Nvidia-Nemotron-Speech 等）及多模态大模型（如 Qwen-Omni等）架构； ● 精通大模型后训练技术，包括监督微调、指令微调、强化学习对齐、持续学习等； ● …
工作职责
深入阿里云各行业的真实业务场景，基于阿里的语音与全模态大模型（Omni/ASR/TTS），打造行业领先的领域模型与定制化解决方案，并将核心能力反哺至基座模型。工作内容包括并不限于： 1、业务攻坚与定制化调优：深入理解业务场景（如智能客服、会议转录、车载语音、在线教育等），针对客户真实需求和挑战问题（如高噪音、多说话人、情感感知等）进行算法攻坚和端到端交付。 2、大模型增强：利用后训练全链路技术和数据飞轮（数据构建 → 模型微调 → 强化对齐 → 效果评测），增强模型的语音识别、语音合成、多模态理解、声纹识别等核心能力，并将评测、数据和算法能力沉淀到基座模型，持续提升通用大模型在真实场景中的能力。 3、多模态融合与对齐优化：主导语音信号与文本、图像、视频等模态的深度融合技术研发，解决跨模态语义对齐、噪声鲁棒性、低资源适配等关键挑战。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求； 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型； 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
1、嵌入式AI系统开发： • 负责RTOS系统平台上多模态AI终端产品的研发，包括方案评估、软件架构设计、核心功能模块（如人脸/手势识别、行为分析）开发与部署； • 主导端侧AI模型轻量化、跨平台推理框架适配（TensorFlow Lite/MNN/NCNN）及NPU芯片的性能优化（如内存、功耗、实时性）； • 结合硬件特性设计轻量化模型架构，完成从算法训练到嵌入式端侧部署的全链路开发。 2、多模态算法工程化： • 优化计算机视觉算法在嵌入式设备（IoT/AR硬件/AI机器人）的落地效果，解决低算力、高延迟、多干扰场景下的工程挑战； • 开发芯片算子库适配方案，参与芯片选型、AI工具链优化及端云协同架构设计； • 探索多模态交互（视觉+语音+传感器）在智能终端的创新应用，如AI玩偶、陪伴机器人等。 3、跨团队协作与交付： • 与芯片厂商、算法团队、硬件团队协同开发，主导端侧SDK集成及性能调优，确保产品按时交付； • 支持产品量产落地，保障系统稳定性与用户体验。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、团队负责公司大模型的研发和应用，研究相关技术在搜索、推荐、广告、创作、对话和客服等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式；主要工作方向包括： 1）优化&创新RLHF算法训练效率与模型泛化能力； 2）Long CoT技术的实现和应用； 3）多模态大模型（文本、图像、语音）的Posttraining算法； 4）构建高质量、多领域的数据合成方法； 5）探索LLM在情感对话、创作等场景的应用。
在算力驱动的 AGI 和人文精神的烟火气交汇之处，我们真诚邀请对大模型 Omni Model 有热情的同学加入，共同打造更具影响力的智能系统。你会成为团队的一员，并和其他同事协作，共同研发 SOTA 的 Omni Model。期待你以务实和客观的科学态度来推进技术的进展，不被过往经验裹挟、不被主观偏好影响。期待你除了算法外仍然是为出色的工程师。期待你对技术有强烈的好奇心和开放心态。 区别于传统 ASR / TTS 级联技术，我们希望打造端到端的 Omni Model 在实时交互中释放大模型的智力水平，彻底改变以 Chatbot 文字为主的人机交互界面 岗位说明：你会负责围绕大模型 Omni Model 构建语音模态的相关研究工作，包括但不限于如下事项 海量的语音数据处理和构建：定性分析、定量评估数据质量，并给出 scalable 的改进方案；探索跨模态（文字/视觉/语音）混合训练的最佳实践； 探索更加高效且合理的模型架构，让模型更加理解音频，同时让模型具备更好的语音合成能力 研究并探索基于 Omni Model 的 Post Train，包含但不限于 SFT 和 RL