阿里巴巴算法工程师-多模态理解
任职要求
1、人工智能、计算机视觉、计算机图形学、自然语言处理、机器学习等相关领域的硕士或博士在校生； 2、具备较好的工程实现能力，熟练掌握Pytorch等深度学习框架； 3、熟悉LLM/MLLM的基本原理…
工作职责
1、基于淘天海量商品数据，打造技术先进的电商多模态大模型，提升对多模态异构的商品数据（图、文、视频等）的理解能力和结构化能力，输出底层算法能力和高质量结构化数据，支撑多种电商业务场景，并面向商家和消费者探索AIGC等创新业务应用； 2、参与大模型（LLM/MLLM）核心技术研发，负责模型结构设计、训练任务设计、预训练和下游能力建设等； 3、通过方案的优化设计帮助模型有持续scale up能力，助力模型在多模态理解任务上实现SOTA； 4、跟踪、探索大模型方向/多模态预训练方向的前沿技术，通过后训练强化学习提升多模态对齐、多模态推理思考能力，提升下游任务的效果。
团队介绍 "阿里巴巴国际数字商业集团的智能技术团队，负责阿里巴巴旗下多个国际化电商平台的搜索、推荐、广告、用增等技术。团队致力于将最前沿的AI技术与国际化电商业务问题深度结合，为用户打造更好更智能化的网上购物体验，同时赋能百万商家实现更高效的经营。 选择加入我们意味着投身入于高速发展的国际化电商业务，一起打造最先进的AI技术以驱动全球电商业务发展。" 职位描述 1.负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限。 2.基于多模态预训练大模型，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，实现业务指标提升。 3.学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。
-协助团队进行多模态大模型相关研究，包括高效微调、多模态理解对齐、玩法开发、幻觉消除、数据治理部署优化等相关工作 -参与项目的算法验证和优化，确保算法的效率和准确性 -协助进行文献调研，总结最新的技术趋势和研究进展 -参与团队内部的技术交流和分享会议
我们正在寻找对多模态技术充满热情的算法工程师，加入我们的前沿技术研发团队。您将专注于多模态理解与生成，推动其在地图数据、信息流推荐、打车服务等场景中的落地应用，为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发：开发业界领先的图文多模态理解与生成模型，结合扩散模型（Diffusion Models）、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升：优化多模态模型的推理速度和计算效率，支持端侧部署。探索适合大模型的压缩与加速技术（包括但不限于量化、剪枝、知识蒸馏等）。 3、业务场景落地：将多模态技术应用于实际业务场景，如地图数据（道路、POI等）、信息流推荐、打车服务等。与产品、工程团队合作，推动技术从研发到上线的全流程落地。 4、前沿技术探索：持续跟踪生成式AI（Generative AI）、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势，提出创新性解决方案。
AI的快速发展正在引领信息获取和知识搜索模式的革命性变化。各类智能信息助手正在迅速迭代，逐步向基于大语言模型的自然语言交互式知识获取方式转型。我们团队工作范围包括支付宝搜索、全网搜索、搜索智能体、大模型后训练及应用等。致力于应用前沿的人工智能技术，结合蚂蚁的生态特色，提升用户获取信息的效率和准确性，探索信息获取体验的新边界。 1. 参与和负责AI搜索场景下的核心搜索算法研发，持续提升Query理解、多模态理解、召回排序、RAG生成、智能体规划等环节的效果； 2. 支持多元业务需求的快速迭代，始终以优化用户体验与提升业务价值为目标； 3. 关注AI搜索技术前沿进展和业界先进应用，不断探索，持续创新突破核心技术。