米哈游【提前批】AudioLLM 研究员
任职要求
1. 计算机科学、人工智能、电子工程等相关博士学历 2. 具备大模型（LLM 或多模态）训练经验，熟悉 Transformer 架构与大规模分布式训练 3. 深入掌握以下至少一方向 • 通用音频自监督表征，如 Best-RQ, CLAP, wav2vec bert2.0 等 • Omni模型架构和多模态RL • 语音识别/情感识别/音乐信息检索算法 4. 精通 Pytorch，具备海量数据处理经验 5. 具备跨时区协作与良好沟通能力，结果导向，责任心强 加分项 1. 在 NeurIPS/ICML/ICASSP/ISMIR 等顶级会议发表论文 2. 负责过百万小时级多类型音频数据管理 3. 拥有音频文本跨模态对齐、指令微调或多任务学习实践 4. 在音频 AI 或音乐 AI 领域有开源贡献或技术影响力
工作职责
专注于AudioLLM通用音频理解模型的研究与开发，参与构建下一代音频基础模型和Omni多模态框架，探索语音、音乐、环境声音等多模态音频内容的统一理解建模方法，推动 audio AI 在理解、生成和交互场景中的技术突破。 核心职责： 1. 模型架构与训练：负责通用音频理解模型设计与分布式训练优化，实现语音识别、情感分析、音频问答、音乐理解、声音事件检测等多任务统一建模 2. 数据管线：设计并落地大规模多模态音频数据 pipeline，完成数据对齐、质量控制与自动标注 3. 跨模态融合：研究音频编码器与大语言模型融合技术，优化跨模态注意力与统一特征表示
专注于统一视频理解和生成模型的研究与开发，参与构建下一代视频AI系统，探索视频内容的深度理解与高质量生成的统一建模方法，推动视频AI在理解、编辑、生成等任务上的技术突破。 核心职责： 1、统一视频模型架构设计 2、前沿技术探索与实现，探索Diffusion Model、Auto-regressive Model在视频生成和理解的统一建模 3、研究文本-视频-音频多模态对齐技术和条件控制方法 4、大规模音视频理解和生成模型训练及优化
负责构建高精度的音视频大规模数据处理管线，参与多模态核心算法的效率优化、精度迭代与多模态模型的系统整合，追求极致的多模态感知、理解、分类的性能边界探索。 核心职责： 1、音视频内容检测精度提升: 设计和实现音频、视频组合的多模态算法，开发和优化视频分类、检测、分割和跟踪模型，语音识别、理解等核心算法 2、构建高质量的音视频处理管线，实现各模块的高效整合，优化音视频数据标注管线，提升处理效率 3、数据处理管线的系统优化: 设计分布式处理架构，支持大规模数据的并行处理，建立数据质量监控和异常检测机制
专注于前沿AI模型的性能优化和推理加速，深度参与Diffusion模型、视频DiT（Diffusion Transformer）模型以及Auto-regressive模型的加速优化工作，推动AI模型在生产环境中的高效部署和应用。 核心职责： 1、模型算法与架构优化：实现模型压缩技术（量化、剪枝、蒸馏等）、开发针对特定模型架构的专用优化算法、设计高效的分布式推理架构，支持大规模并发服务 2、模型推理优化：优化视频生成DiT模型的推理效率，降低显存占用和计算延迟、研究加速Auto-regressive模型方案 3、系统工程实现：开发高性能的自定义CUDA kernel和算子，集成和优化推理框架，构建高可用的模型服务系统 4、性能调优与监控：建立模型性能基准测试体系，分析和解决推理过程中的性能瓶颈，持续优化大规模GPU集群的资源利用率
1、评测体系设计: 建立视频生成结果的多维度评估标准，包括但不限于内容准确性、视觉质量、时序一致性、语义理解等专业维度 2、评测模型架构搭建: 设计并实现视频生成评测模型的整体架构，包括特征提取、多模态融合、评分机制等核心模块，构建可扩展的评测系统框架，支持多种视频生成模型的批量评估 3、制定大规模标注规则: 主导视频生成质量的大规模数据标注项目，制定标注规范，管理标注质量 4、自动评测模型训练优化: 基于标注数据进行评测模型的训练、调优和迭代，持续提升评测精度和泛化能力 5、技术创新: 跟踪前沿技术发展，将最新研究成果应用到评测系统中