字节跳动语音算法实习生-Data语音
任职要求
1、2024届及以后毕业，硕士及以上学历在读，计算机科学/计算机工程/电子信息技术等相关专业； 2、有自然语言处理、语音合成与识别、音乐生成等研究或者技术背景优先； 3、有预训练技术，包括但不限于高效训练、强化学习，参与过研发音频、NLP相关的预…
工作职责
日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。 团队介绍：Data语音团队致力于语音/音频/音乐相关的AI核心技术研发和产品创新。部门支撑音频和多模态内容从生产、编辑到消费的全流程，赋能内容创作和互动，并以中台形式支持集团多个业务，提供业界前沿的技术能力与解决方案。 1、参与研发多模态模型等下一代人工智能核心技术； 2、关注和推进技术在业务场景中的广泛应用，包括但不限于语言、音乐、语音、音频的生成与理解等； 3、深入调研和关注音频/NLP/多模态等方向的前沿技术。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求； 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型； 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
1、嵌入式AI系统开发： • 负责RTOS系统平台上多模态AI终端产品的研发，包括方案评估、软件架构设计、核心功能模块（如人脸/手势识别、行为分析）开发与部署； • 主导端侧AI模型轻量化、跨平台推理框架适配（TensorFlow Lite/MNN/NCNN）及NPU芯片的性能优化（如内存、功耗、实时性）； • 结合硬件特性设计轻量化模型架构，完成从算法训练到嵌入式端侧部署的全链路开发。 2、多模态算法工程化： • 优化计算机视觉算法在嵌入式设备（IoT/AR硬件/AI机器人）的落地效果，解决低算力、高延迟、多干扰场景下的工程挑战； • 开发芯片算子库适配方案，参与芯片选型、AI工具链优化及端云协同架构设计； • 探索多模态交互（视觉+语音+传感器）在智能终端的创新应用，如AI玩偶、陪伴机器人等。 3、跨团队协作与交付： • 与芯片厂商、算法团队、硬件团队协同开发，主导端侧SDK集成及性能调优，确保产品按时交付； • 支持产品量产落地，保障系统稳定性与用户体验。
团队介绍：字节跳动豆包大模型团队成立于 2023 年，致力于开发业界最先进的 AI 大模型技术，成为世界一流的研究团队，为科技和社会发展作出贡献。 豆包大模型团队在AI领域拥有长期愿景与决心，研究方向涵盖NLP、CV、语音等，在中国、新加坡、美国等地设有实验室和研究岗位。团队依托平台充足的数据、计算等资源，在相关领域持续投入，已推出自研通用大模型，提供多模态能力，下游支持豆包、扣子、即梦等50+业务，并通过火山引擎开放给企业客户。目前，豆包APP已成为中国市场用户量最大的AIGC应用。 1、团队负责公司大模型的研发和应用，研究相关技术在搜索、推荐、广告、创作、对话和客服等领域的全新应用和解决方案，满足用户不断增长的智能交互需求，全面提升用户在未来世界的生活和交流方式；主要工作方向包括： 1）优化&创新RLHF算法训练效率与模型泛化能力； 2）Long CoT技术的实现和应用； 3）多模态大模型（文本、图像、语音）的Posttraining算法； 4）构建高质量、多领域的数据合成方法； 5）探索LLM在情感对话、创作等场景的应用。
在算力驱动的 AGI 和人文精神的烟火气交汇之处，我们真诚邀请对大模型 Omni Model 有热情的同学加入，共同打造更具影响力的智能系统。你会成为团队的一员，并和其他同事协作，共同研发 SOTA 的 Omni Model。期待你以务实和客观的科学态度来推进技术的进展，不被过往经验裹挟、不被主观偏好影响。期待你除了算法外仍然是为出色的工程师。期待你对技术有强烈的好奇心和开放心态。 区别于传统 ASR / TTS 级联技术，我们希望打造端到端的 Omni Model 在实时交互中释放大模型的智力水平，彻底改变以 Chatbot 文字为主的人机交互界面 岗位说明：你会负责围绕大模型 Omni Model 构建语音模态的相关研究工作，包括但不限于如下事项 海量的语音数据处理和构建：定性分析、定量评估数据质量，并给出 scalable 的改进方案；探索跨模态（文字/视觉/语音）混合训练的最佳实践； 探索更加高效且合理的模型架构，让模型更加理解音频，同时让模型具备更好的语音合成能力 研究并探索基于 Omni Model 的 Post Train，包含但不限于 SFT 和 RL