蚂蚁金服蚂蚁集团-多模态理解及应用-多模态大模型评测-杭州/北京【AGI专项】
任职要求
1. 学历背景: 计算机科学、人工智能、电子工程或相关领域的硕士及以上学历。 2. 专业经验: 3年以上在多模态学习、自然语言处理（NLP）、计算机视觉（CV）处理领域的算法研究和工程开发经验。 3. 工程能力: 具备出色的编程能力，精通 Python，并熟练掌握至少一种深度学习框架（如 PyTorch, TensorFlow）；具备很强的动手能力，能够独立完成评测系统的设计和开发。 4. 评测专长: 对大模…
工作职责
1. 评测体系设计与搭建: 负责设计和搭建业界领先的全模态（图文、音视频）大模型评测体系，建立科学、全面、高效的评测流程、标准和自动化平台。 2. 评测基准 (Benchmark) 建设: 主导全模态评测基准的建设，持续追踪和引入学界、业界最新成果，并结合业务场景，设计和构建能反映模型真实能力的评测数据集。 3. 核心能力度量: 深入研究全模态大模型的能力边界，设计创新性的评测方法和指标（Metrics），精准度量模型在跨模态理解、内容生成、多轮交互、逻辑推理、鲁棒性及安全性等维度的综合能力。 4. 技术落地与效率提升: 发挥强大的工程和动手能力，主导评测工具链和平台的开发与优化，实现评测流程的自动化和规模化，大幅提升评测效率和质量。 5. 跨团队协作: 与算法、工程、产品团队紧密合作，将评测结果有效转化为模型能力提升和用户体验优化的具体行动，共同打造顶尖的全模态AI产品。
我们是阿里巴巴国际数字商业集团-智能技术-商品基础数据算法团队，基于研发电商多模态预训练模型基座，通过多模态商品理解、商品同款匹配、商品属性&标签生产、知识图谱构建、图像搜索等核心技术的持续迭代，为平台沉淀高质量、结构化的商品数据资产和多模态大模型基座。主攻前沿方向：Continual Pre-Training/Post-Training 模型持续优化、SFT 监督微调与用户偏好对齐、RL 强化学习提升推理和决策能力、多模态（文本 + 图像）语义匹配。 1、负责研发电商多模态预训练模型基座，抽象并解决商品理解的基础问题使得模型具备业务通识能力，并构建针对大模型幻觉问题、推理能力、模型加速等关键问题的系统性解决方案，提高下游业务的迭代效率和效果上限； 2、基于多模态预训练大模型，设计和迭代 SFT+RL 训练方案，优化模型语义理解精度，落地商品理解关键场景任务，比如商品类目/属性/标签预测、商品同款、商品图搜等，负责关键场景的端到端全链路优化，实现业务指标提升； 3、学习前沿论文与把握技术趋势，深入理解底层算法原理，探索实验面向未来的硬核技术，实现核心技术突破和技术创新，发表相关论文。
1. 复杂文档结构化解析： 专注于复杂文档的深度解析，包括版面分析（Layout Analysis）、公式表格识别（Formula Table Recognition & Reconstruction）、关键信息抽取（Key Information Extraction, KIE）等，将非结构化的文档图像或PDF高效地转换成机器可读的结构化数据。 2. 文档问答（DocVQA）系统构建： 研发和迭代文档视觉问答模型，让大模型能够精准理解用户的自然语言提问，并结合视觉与文本信息，从复杂的文档（如研究报告、财务报表、合同、票据等）中定位、抽取并生成结构化答案。 3. 核心OCR能力提升： 负责前沿OCR技术的研发与优化，攻克手写体、低质量图像、艺术字、复杂排版等挑战性场景下的文字检测与识别难题，显著提升多模态大模型底层的文字信息获取（Text-in-Image）精度与鲁棒性。 4. 前沿技术探索与创新： 紧密跟踪多模态、OCR及文档智能领域的最新研究成果，结合业务需求进行技术预研、方案设计和原型实现，推动技术创新和专利产出。 5. 模型与系统优化： 负责构建和完善相关方向的数据集、评测体系和模型训练/推理流程，并与工程团队紧密合作，推动算法模型的性能优化与实际落地。
相关研究课题细分方向如下： 1. 基于MLLM的表征技术及零少样本建模设计 2. 面向质量任务的VQA能力建设及在视频审核中的应用 3. 面向直播流的轻量化模型应用及大模型知识蒸馏技术 4. 结合推荐系统的泛化表征设计及分发应用 5. 百亿级视觉检索技术及淘宝素材同源库建设 6. 视频内容生成技术及质量攻防系统建设
1. 主导多模态理解大模型评测体系设计，从真实用户场景出发定义核心能力维度，将体验痛点转化为可量化的评测指标。 2. 设计覆盖信息检索、内容理解、文档分析、视频摘要、富媒体问答等高频场景的评测任务，推动评测从"学术任务"向"产品体验"演进。 3. 持续挖掘真实使用中的 Bad Case，做系统性分类与归因，形成问题清单与改进优先级。 4. 建立评测数据质量管控与版本管理机制，定期更新评测集以覆盖新场景与新模态组合。 5. 与产品、算法团队紧密协作，在新模型上线前完成评测，提供数据驱动的优先级建议。