夸克研究型算法实习生-多模态大模型（生成、理解&融合模型）
任职要求
1.计算机科学、人工智能、机器学习或相关专业，博士及以上学历优先； 2. 精通Python编程，熟悉Linux开发环境，具备PyTorch等框架的底层优化经验，能高效实现论文复现及模型改进。 加分项： 1. 在以下领域有系统性研究经验：扩散模型、vlm、融合模型、moe等技术，熟悉HuggingFa…
工作职责
1. 参与图像生成、图像编辑和文档理解其中一个方向的工作，围绕效果和速度，通过算法创新持续提升业务天花板； 2. 围绕扩散模型、生成加速、融合模型等方向，不断探索前沿算法，保持方案领先性，助力业务取得效果突破； 3. 围绕数据构建、vae、dit、moe、训练策略等环节，挖掘突破口，持续改进提升。
1. 主导或参与图像/视频生成大模型的核心算法研发，聚焦扩散模型及VAE的前沿架构创新优化，完成大规模分布式训练、数据流水线构建及算法工程化部署； 2. 推动视觉生成技术在夸克多产品线的场景化落地，解决实际工程问题，实现从算法原型到工业级系统的端到端优化； 3. 开展前沿算法研究，探索多模态后训练、可控生成及推理加速等方向，保持算法的领先性。
我们正在寻找对多模态技术充满热情的算法工程师，加入我们的前沿技术研发团队。您将专注于多模态理解与生成，推动其在地图数据、信息流推荐、打车服务等场景中的落地应用，为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发：开发业界领先的图文多模态理解与生成模型，结合扩散模型（Diffusion Models）、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升：优化多模态模型的推理速度和计算效率，支持端侧部署。探索适合大模型的压缩与加速技术（包括但不限于量化、剪枝、知识蒸馏等）。 3、业务场景落地：将多模态技术应用于实际业务场景，如地图数据（道路、POI等）、信息流推荐、打车服务等。与产品、工程团队合作，推动技术从研发到上线的全流程落地。 4、前沿技术探索：持续跟踪生成式AI（Generative AI）、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势，提出创新性解决方案。
我们正在寻找对多模态技术充满热情的算法工程师，加入我们的前沿技术研发团队。您将专注于多模态理解与生成，推动其在地图数据、信息流推荐、打车服务等场景中的落地应用，为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发：开发业界领先的图文多模态理解与生成模型，结合扩散模型（Diffusion Models）、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升：优化多模态模型的推理速度和计算效率，支持端侧部署。探索适合大模型的压缩与加速技术（包括但不限于量化、剪枝、知识蒸馏等）。 3、业务场景落地：将多模态技术应用于实际业务场景，如地图数据（道路、POI等）、信息流推荐、打车服务等。 4、前沿技术探索：持续跟踪生成式AI（Generative AI）、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势，提出创新性解决方案。
希望解决如下技术问题。 1、适用于商品视频生成的文本-视频数据集：构建一个能够支持基于多模态大模型的商品视频生成算法训练和优化的文本-视频数据集 2. 基于多模态大模型的商品视频生成系统：通过探索基于多模态大模型的文本到视频生成技术，以“视频关键帧-高帧率视频-高分辨率视频”为基本路径，完成文本到视频关键帧生成模型、视频插帧模型、视频超分辨率生成模型等核心算法模型，构建视频生成系统，实现输入商品描述文本+商品图片，自动生成原生化的商品微视频和商品短视频。