哔哩哔哩bilibili-音视频理解算法工程师

工作描述

工作职责:
1. Omni VLM 基础模型研发
- 负责面向视频理解的 Omni VLM / 多模态理解基础模型研发。
- 参与模型架构、数据体系、训练方法和评测体系建设。
- 开展大规模图像、视频、音频和文本数据上的 VLM 预训练。
- 开展多模态 SFT、偏好对齐、强化学习、复杂推理等后训练工作。
- 提升模型在长视频理解、时序推理、细粒度感知和多模态交互等方面的能力。
2. Captioner
- 建设高质量视频 Caption 和结构化语义理解能力。
- 提升模型对人物、场景、动作、事件、镜头、风格、音频和叙事等信息的理解。
- 为视频生成基模提供高质量训练数据和语义条件。
3. Prompt Enhance（PE）
- 研发面向视频生成的 Prompt Enhance 模型与策略。
- 将用户简短或模糊的意图转化为准确、丰富且适合视频生成的提示词。
- 提升生成结果的语义一致性、视觉表现和可控性。
4. Rew…