米哈游【提前批】Unified Audio Generation 研究员
任职要求
1. 学历背景：计算机科学、人工智能、电子工程等相关专业博士学位或同等工程经验 2.模型经验：具备大模型（LLM/生成模型）训练经验，熟悉分布式训练与大规模模型优化技术 3.深入掌握以下至少一个方向 • 语音/歌声生成技术（TTS / SVS） • 音频生成技术（text2audio） • 连续和离散的Audio tokenization技术 • 音视频联合生成与跨模态时序同步技术 4.工程能力：精通Python与PyTorch，具备百万小时级数据处理与高效训练经验 5. 协作能力：具备跨时区国际团队协作经验，结果导向，自驱力强，沟通表达能力优秀 加分项 1. 在NeurIPS/ICML/ICLR等顶级会议发表高质量论文 2. 拥有LLM与音频/视频生成融合的项目经验，理解跨模态同步生成的技术挑战 3. 深入研究Vector Quantization/Residual VQ/Finite Scalar Quantization等tokenization前沿技术 4. 在音频生成/视频生成/多模态AI领域有开源贡献或技术影响力
工作职责
专注于统一音频生成模型的研究与开发，参与构建下一代语音、歌声、音乐、音效等多类型音频生成基础模型，探索大语言模型与音频生成的深度技术融合，推进音频-视频联合生成，推动audio AI在语音/歌声合成、音乐创作、音效生成、视频配音等场景的技术突破。 核心职责： 1. 模型架构与训练：负责统一音频生成模型设计与分布式优化，实现语音/歌声合成+音效生成+音视频联合生成的多任务统一建模 2. Audio Tokenization：研究连续/离散token的音频表征，优化压缩效率与重建质量的最优平衡 3. 跨模态融合：探索大语言模型与音频生成融合技术 4. 数据管线：参与设计并落地大规模高质量多模态生成数据集，覆盖语音、歌声、音乐、音效及音视频同步数据处理pipeline
专注于统一视频理解和生成模型的研究与开发，参与构建下一代视频AI系统，探索视频内容的深度理解与高质量生成的统一建模方法，推动视频AI在理解、编辑、生成等任务上的技术突破。 核心职责： 1、统一视频模型架构设计 2、前沿技术探索与实现，探索Diffusion Model、Auto-regressive Model在视频生成和理解的统一建模 3、研究文本-视频-音频多模态对齐技术和条件控制方法 4、大规模音视频理解和生成模型训练及优化
负责构建高精度的音视频大规模数据处理管线，参与多模态核心算法的效率优化、精度迭代与多模态模型的系统整合，追求极致的多模态感知、理解、分类的性能边界探索。 核心职责： 1、音视频内容检测精度提升: 设计和实现音频、视频组合的多模态算法，开发和优化视频分类、检测、分割和跟踪模型，语音识别、理解等核心算法 2、构建高质量的音视频处理管线，实现各模块的高效整合，优化音视频数据标注管线，提升处理效率 3、数据处理管线的系统优化: 设计分布式处理架构，支持大规模数据的并行处理，建立数据质量监控和异常检测机制
专注于前沿AI模型的性能优化和推理加速，深度参与Diffusion模型、视频DiT（Diffusion Transformer）模型以及Auto-regressive模型的加速优化工作，推动AI模型在生产环境中的高效部署和应用。 核心职责： 1、模型算法与架构优化：实现模型压缩技术（量化、剪枝、蒸馏等）、开发针对特定模型架构的专用优化算法、设计高效的分布式推理架构，支持大规模并发服务 2、模型推理优化：优化视频生成DiT模型的推理效率，降低显存占用和计算延迟、研究加速Auto-regressive模型方案 3、系统工程实现：开发高性能的自定义CUDA kernel和算子，集成和优化推理框架，构建高可用的模型服务系统 4、性能调优与监控：建立模型性能基准测试体系，分析和解决推理过程中的性能瓶颈，持续优化大规模GPU集群的资源利用率
1、评测体系设计: 建立视频生成结果的多维度评估标准，包括但不限于内容准确性、视觉质量、时序一致性、语义理解等专业维度 2、评测模型架构搭建: 设计并实现视频生成评测模型的整体架构，包括特征提取、多模态融合、评分机制等核心模块，构建可扩展的评测系统框架，支持多种视频生成模型的批量评估 3、制定大规模标注规则: 主导视频生成质量的大规模数据标注项目，制定标注规范，管理标注质量 4、自动评测模型训练优化: 基于标注数据进行评测模型的训练、调优和迭代，持续提升评测精度和泛化能力 5、技术创新: 跟踪前沿技术发展，将最新研究成果应用到评测系统中