通义研究型实习生-视频自动的音效/配乐技术
任职要求
1、博士/硕士研究生，计算机等相关专业优先。
2、有扎实的理论基础，对大模型相关技术研究感兴趣。
…工作职责
近期，随着OpenAI发布第一个文生视频大模型Sora，其能够生成包含复杂场景、生动角色表情及复杂镜头运动的长视频，进一步引起了业界的广泛关注。目前，现有的视频转音频技术[9-11] 通常采用联合训练方式，利用预训练的跨模态基础模型[12-13] 或扩散模型来解决这一问题。然而，这些方法未能全面挖掘音视频多模态信息之间的精确对应关系（比如： 时间、节奏、远近、材质、内容、方向、速度、等等），仅能得到宽泛的音视频对应关系, 离实际应用（比如真正的短视频以及电影配音）尚有很大差距。并且后续精确的配音可以向全景声以及立体环绕声方向发展，和VR以及 AR 以及娱乐产业结合。 本研究题目拟解决基于内容理解的视频到音频的精确生成问题。
在这里，你将参与淘宝直播及短视频等丰富的内容业务场景，围绕“更好听、更好看、更好玩”，和其他优秀的同学一起，为用户提供极致的体验； 在这里，你将负责为用户提供最优的音质，负责音频增强及编码相关算法研发，包括但不限于音频3A算法（降噪、回声消除、自动增益）、音频编码、人声美化，虚拟音效、空间音频等算法； 在这里，你将负责音乐相关算法研发，包括但不限音乐理解、音乐检索、音乐生成、智能配乐等算法； 在这里，你将负责面向RTC的音视频传输算法优化，包括但不限于带宽预测、拥塞控制、多码率自适应、音视频弱网对抗等算法； 在这里，你将会持续关注AI音视频、AI传输等相关领域的前沿算法，并针对真实场景，把算法落地应用到实际项目中。 加入我们，你将会面对新的内容场景，通过技术深耕，致力于行业领先的音视频技术创新和应用，帮助创造极致的消费者体验。 你的工作将服务于改善全世界数十亿人的购物、娱乐和交互的体验。 探索未知，挑战未来，来吧，我们等你加入！
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
中台稠密引擎组，是小红书负责建设通用深度学习训练推理引擎的团队，面向全公司LLM、多模态LLM、SD、传统CV&NLP等稠密计算型模型训练与推理的业务场景，打造高效、易用、业界领先的训练与推理引擎，为小红书社区、商业化、安全等众多业务方向提供先进的引擎能力，支撑业务持续提升训练推理效率、模型迭代效率与算法研发效率。 1、参与设计和实现深度学习后训练及微调的前沿算法（包括但不限于RFT、RLHF等），以适应多样化的业务场景； 2、结合业务数据和场景，评估选择最适合的微调算法，以支撑业务大语言模型（LLM）微调指标的提升； 3、与数据团队紧密合作，深入理解数据特性，参与设计实现数据提质算法引擎工具，产出高质量数据集提升模型微调效果； 4、与公司内各算法团队深度合作，参与或负责大语言模型、多模态大模型等业务场景的后训练端到端效果提升及落地； 5、密切关注业界 LLM 微调算法和数据提质领域的前沿论文，并整合新技术和算法到训练引擎中，提升框架的领先性；