阿里巴巴大模型语音应用算法实习生
任职要求
1、计算机科学、人工智能、机器学习等硕士或博士在校生，语音方向优先； 2、对主流的多模态大模型和文本大模型的原理有较为深入的理解，对业界语音大模型应用方案如Astra有较为深入的了解； 3、具备较好的编程能力，动手能力强，熟练使用Java/C/C++和Python，熟练使用至少一种开源深度学习框架; 4、优秀的…
工作职责
1、设计和研发语音多模态大模型在业务场景的落地方案，负责语音模态业务整体pipeline优化，包括但不限于降噪、声纹、ASR、TTS等； 2、结合大模型Agent技术，优化语音+图片多模态下的real time业务落地交互方案； 3、解决业务落地中的关键技术问题，持续跟进业界语音大模型技术最新进展，加速新技术的引进、适配与优化。
尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。 本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。
1、支持端到端语音多模态大模型技术在字节跳动公司内外丰富的业务场景落地，解决落地过程中的前沿问题，持续优化落地效果； 2、探索前沿的多模态技术，专注语音多模态大模型的前沿技术和算法效果，追求和探索业界最前沿算法，包括但不限于语言、音乐、语音、音频的生成与理解等； 3、深入调研和关注音频/NLP/多模态等方向的前沿技术。
团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 Seed 团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、LLM推理和规划；在整个开发过程中增强LLM推理和规划，包括数据采集、模型评估、预训练、SFT、奖励建模和强化学习，以提高LLM的整体性能； 2、通过重写、扩充和生成等方法合成大规模、高质量的数据；如指令调优、偏好对齐、模型优化以提高LLM在各个阶段（预训练、SFT、RLHF）的能力； 3、通过RLHF/RLAIF进行偏好对齐，探索全新的训练范式，优化大模型在文本、图像、语音等多模态上的表现； 4、研究和实施稳健的评估方法，以评估LLM在各个阶段的表现，揭示其能力的潜在机制和来源，并利用这种理解来推动模型改进； 5、探索和优化有效的LLM训练方法（如主动学习、课程学习）和目标，以完善缩放规律，实现卓越的模型性能； 6、相关应用落地，包括内容创作、逻辑推理、代码生成等，深入研究和探索大模型在未来生活中的更多使用场景。
1. 创新深度神经网络设计： - 开发新颖、开拓性的深度神经网络架构，推动深度学习领域的基础研究。 - 针对多模态（文本、图像、语音等）设计优化模型，提高模型的泛化能力和应用性能。 2. 科学评测体系构建： - 构建科学严谨的算法评测方法，系统评估模型的性能。 - 探索模型能力的潜在机制，推动模型优化和创新。。 3. 高质量数据合成与处理： - 通过数据生成、扩充和重写等方法，创建大规模、高质量的训练数据集。 - 结合指令调优、偏好对齐等技术提升数据质量与模型表现。 4. 强化学习优化： - 研究并实施基于RLHF/RLAIF的偏好对齐技术，提升模型在多领域的应用能力。 - 探索和优化主动学习、课程学习等有效的大模型训练方法。