阿里巴巴多模态大模型工程师-多模态文档智能
任职要求
1. 计算机、人工智能、数学、统计学等相关专业，硕士/博士优先； 2. 熟悉Python和PyTorch，具备较强的代码与实验能力； 3. 熟悉多模态大模型，理解主流LLM/MLLM基础架…
工作职责
围绕多模态文档智能方向，开展文档理解、文档推理和文档智能体相关研究，推动多模态大模型在真实文档场景中的能力提升，并服务实际业务落地。 你将参与以下一个或多个方向的工作： 1. 文档理解：面向复杂长文档场景，研究文档解析与结构化重建技术，提升模型对文本、公式、表格、图像等元素的识别、定位和还原能力，探索从图像到结构化文档的端到端方案。结合真实场景进行数据构建、实验设计与效果分析，持续优化模型在复杂文档解析任务中的表现； 2. 文档推理：面向统计图表、学术论文、行业报告等高信息密度文档，研究多模态大模型的图文理解、逻辑推理和数值分析能力，提升模型在复杂文档问答、证据整合和长上下文推理任务中的表现。围绕关键任务开展数据整理、评测设计和实验迭代，持续分析并改进模型在复杂文档推理中的效果； 3. 文档智能体：探索基于多模态大模型的文档智能体能力，包括跨文档检索、信息搜集、任务规划、工具调用和结果验证等，推动模型完成如研报生成、信息抽取、跨文档对比分析等复杂任务。结合具体业务场景，参与任务设计、效果评估和系统迭代，提升智能体在真实任务中的完成质量。
负责微信在OCR、文档理解等垂类方向的多模态大模型技术研发和业务落地，支持相关模型在微信C端应用，以及视频号、公众号、微信小店等业务的搜索、推荐、审核等领域的应用。
1. 负责文档解析多模态大模型的研发和迭代，研发高效的后训练与推理系统，解决大规模图文数据处理、算力利用及模型优化问题； 2. 针对复杂文档场景，研发并优化文本、版面（layout）、表格、公式、印章等多模态元素的解析方法； 3. 参与多模态大模型强化学习方向的研发，探索基于强化学习与可验证奖励（RLVR）、奖励建模 (RM) 及在线交互等方法，持续提升模型在文档解析领域的对齐能力与任务性能； 4. 构建并优化文档解析全流程，包括数据预处理、模型训练、评测指标与工程化部署； 5. 结合业务需求提出创新方案，推动多模态大模型在搜索、办公自动化、教育、金融、科研等领域落地应用。
参与阿里云MaaS平台多模态AI搜索系统的核心算法研发，致力于打造行业领先的下一代智能搜索体验，构建新一代跨模态检索引擎与智能问答体系，赋能云上企业客户与生态开发者。 你需要参与以下一个或多个方向的工作： 1、多模态表征与排序模型优化：参与研究和开发业界领先的多模态表征模型与重排序模型，提升海量图文、视频等多模态数据检索在复杂业务场景下的准确性与相关性； 2、多模态检索增强生成（mRAG）链路优化：参与实际场景的多模态RAG链路的核心算法攻坚，包括多模态Query理解、跨模态意图识别、复杂文档解析（如PDF/图表混合检索）及最终的多模态内容生成； 3、长视频理解模型优化：参与研发高效的长视频搜索范式，攻克超长序列下的长程依赖难题，提升模型对视频深层语义的捕捉能力及复杂场景下的视频问答质量。落地的核心目标与指标。
1、业务介绍： 聚焦物流供应链，基于文本/图像/视频多模态数据，构建垂域多模态大模型，创新PT-SFT-RLHF方法论，赋能安全检测、违规巡检，降本增效。 2、岗位内容： 负责垂域多模态模型继续预训练，视频理解等能力的攻坚。 3、研究内容： （1）基于物流供应链领域文本/图像/视频数据，探索构建垂域多模态大模型，创新提炼垂域适配的PT-SFT-RLHF各阶段数据构建、模型训练与评测方法论； （2）探索垂域多模态大模型前沿应用方向，提升垂域多模态基础能力，包括目标检测，视频分类，视频问答，视频描述等任务，赋能安全检测、违规巡检等业务，实现降本增效。