阿里云算法工程师-多模态
任职要求
1、我们希望你是自然语言处理、计算机视觉、语音、机器学习、跨模态表征学习等相关专业； 2、我们希望你能熟练掌握tensorflow、pytorch等至少一种主流深度学习框架 -能够独立实现前沿模型，有NLP/CV/ML顶会发表经验者，有大规模模型训练工程经验的同学优先； 3、良好的学术调研能力，良好的逻辑和数据分析能力，有高质量论文、开源项目、ACM竞赛经历、相关学术会议组织的权威比赛获奖经历或落地项目产出者优先； 4、有良好的自我学习能力及自驱力，对前沿领域有强探索欲，富有想象力和创造力。
工作职责
阿里云持续推进AI 技术深化战略布局， 围绕AI 和云计算的基础设施建设、AI基础模型平台、企业级AI应用方向构建核心场景。为此，我们正积极招募优秀人才： 1、从事多模态算法和模型的研究与开发，包括但不局限于文本-图像、文本-视频等跨模态算法研发和优化，跟进并保持业界技术领先； 2、推进跨模态内容理解/生成前沿技术的创新落地。设计和优化现有算法，提高性能和准确性，确保高质量的用户体验； 3、关注多模态/NLP/CV等方向的前沿技术，及时将新技术应用到产品中。
1、研发和探索多模态内容理解或生成算法（文本/图像/声音/视频等），并应用于搜索推荐、内容生成、智能交互等核心业务中。 2、提出和实现业界领先的多模态算法创新，包括但不限于多模态预训练、多模态大模型、多模态表征学习等等，并应用到核心业务中。
我们正在寻找对多模态技术充满热情的算法工程师，加入我们的前沿技术研发团队。您将专注于多模态理解与生成，推动其在地图数据、信息流推荐、打车服务等场景中的落地应用，为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发：开发业界领先的图文多模态理解与生成模型，结合扩散模型（Diffusion Models）、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升：优化多模态模型的推理速度和计算效率，支持端侧部署。探索适合大模型的压缩与加速技术（包括但不限于量化、剪枝、知识蒸馏等）。 3、业务场景落地：将多模态技术应用于实际业务场景，如地图数据（道路、POI等）、信息流推荐、打车服务等。与产品、工程团队合作，推动技术从研发到上线的全流程落地。 4、前沿技术探索：持续跟踪生成式AI（Generative AI）、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势，提出创新性解决方案。
深入研究AIGC领域内的图像和视频生成算法，重点突破多模态内容生成，长视频语义一致性等关键技术。 1、参与AIGC视频生产链路模块化开发与性能优化； 2、通过模型训练微调提升业务场景下的视频生成效果； 3、探索控制生成、风格迁移等算法的优化与落地。
应用多模态理解、自然语言处理、计算机视觉等算法技术，对优酷站内海量长/短视频进行内容理解，紧跟前沿研究成果，参与视频智能生产的核心算法能力建设及业务应用落地 具体职责包括但不限于： 1、负责视频智能生产中需要的文娱领域化、任务专有化的大语言模型/多模态大模型的训练及优化，包括但不限于监督微调、偏好对齐、视频理解、图文生成等领域 2、基于业界最新前沿工作，在图片及视频检索、视频内容创作、搜推内容理解与结构化等任务领域落地优化，并实现业务指标提升 3、学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现关键技术突破和技术创新