蚂蚁金服蚂蚁集团-多模态大模型算法工程师 (视觉语言方向)-杭州【AI Force】
任职要求
1.核心经验:具备丰富的多模态(视觉-语言)领域知识,有实际的图像/视频描述生成 (Image Captioning) 完整项目经验。 2.模型背景:拥有主流多模态大模型(如 LLaVA, BLIP, MiniGPT-4 等)的训练、微调或复现经验,熟悉其技术原理和实现细节。 3.技术功底:熟练掌握至少一种深度学习框架(PyTorch 优先),并具备优秀的工程实现能力和算法设计能力。 加分项(满足任一即可): 在 CVPR, ICCV, NeurIPS, ICLR 等顶会发表过多模态、视觉语言相关领域论文。 有大规模分布式训练经验。 有高质量开源多模态项目贡献者。 软性技能:具备出色的沟通协作能力和技术探索热情,能够主动发现并解决前沿技术挑战。
工作职责
我们正在寻找一位充满激情的多模态算法专家,加入我们的前沿AI团队。你将专注于构建和训练先进的视觉语言大模型(Multimodal Large Models),推动技术在图像/视频内容理解与生成领域的创新。 【职位描述】 1.核心研发:负责视觉语言大模型的核心算法研发,主攻图像/视频描述生成 (Image/Video Captioning)、视觉问答 (VQA) 等关键任务。 2.模型训练:主导或深度参与多模态大模型的完整训练流程,包括数据构建、模型架构设计(如 Vision Encoder + LLM)、预训练与指令微调 (Instruction-Tuning)。 3.技术落地:负责模型性能的评估、优化与迭代,探索量化、蒸馏等技术,并推动模型在实际业务场景中的部署与应用。
1. 负责多模态大模型的构建,包括数据处理和构造、预训练和后训练算法优化,评测benchmark的构建等 2. 负责多模态大模型的下游算法及应用研究,包括图文问答、视频问答、搜索增强、统一理解和生成模型、多模态创作、多模态总结、多模态检索等; 3. 负责多模态大模型在移动端场景的算法优化和应用落地,包括视觉文本处理、UI界面理解和操作、function call等能力的提升 4. 跟进业界前沿技术,持续提升团队在多模态算法方面的技术积累。
一、团队介绍 高德视觉技术中心为高德业务提供全面的核心视觉技术,是高德时空互联网领域重要的技术驱动力。我们专注于图像识别、点云识别、三维重建和传感器融合定位等领域, 我们致力于研究和开发业内领先的感知、SLAM、重建和多模态大模型等算法, 促科技创新,与生态共进,连接真实世界,做好一张活地图,让出行和生活更美好! 通过视觉技术中心的春季实习生项目,高校学生通过此项目可以接触到高德真实的业务场景和海量时空大数据,在优秀的前辈与高德技术人交流学习中加速成长。我们希望更多优秀的高校同学加入我们,一起打造极致的算法和产品体验。 二、基本要求 面向预期于26、27届毕业的同学,可以连续实习至少三个月的同学优先。实习地点:北京,我们将提供有竞争力的实习薪酬和充足的训练资源。 三、算法实习生 职位描述 团队主要聚焦视觉、矢量地图、多模态大模型技术,我们期待你的工作将覆盖以下至少一个技术方向: 1. 探索自动驾驶场景下的在线感知、建图、关联等前沿技术,包括但不限于矢量地图构建、矢量地图关联等; 2. 探索多模态大模型在下游任务中的技术能力,包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等;
1、深入调研多模态、计算机视觉和自然语言处理等方向的前沿技术 2、推进视觉信息语义分割与编码的研究,设计自监督学习任务,在大数据上训练较大参数规模模型; 3、探索视觉与语言的语义对齐方法,和多模态多任务联合训练
通义千问(Qwen)是由通义实验室自主研发的超大规模语言模型,具备多模态、多语言、跨任务的理解与生成能力。Qwen系列模型,涵盖参数量从亿级到万亿级的基座大语言模型,并相继推出Qwen-VL、Qwen-Audio、Qwen-Omni、Qwen-Coder、Qwen-Image等系列模型。从多轮对话到代码生成,从逻辑推理到内容创作,从单一多模态到全模态统一理解生成,Qwen 正在打造全球领先的全模态模型技术体系,推动AI在企业服务、开发者生态、个人用户等领域的深度应用,引领下一代人工智能的发展。 若你对以下一个或者多个方向感兴趣均欢迎投递: 1)多模态基础模型的研发,包括融合视觉语言的跨模态理解模型设计,提升视觉基础模型在图像/视频中的视觉知识、空间感知、Omni Parsing 等核心能力,并同时优化多模态大模型的AI infra。 2)通过强化学习(RL)持续提升多模态模型推理能力和执行任务能力,构建支持网络世界(PC/Mobile/Web/游戏)交互的通用智能体,将相关能力拓展到GUI agent,VLA,以及具身智能场景中。 3)研究理解与生成统一的模型架构,实现跨模态生成与推理的协同优化。 工作职责: 1. 多模态 pre-training:开展研究及进行实验,研究内容包括:数据清洗筛选、数据配比优化、课程学习、视觉语言模型结构设计与优化、训练策略优化、预训练数据合成、scaling law 预测、词表优化、模型蒸馏与压缩、长上下文能力优化等。 2. 多模态 post-training:迭代 post-training 训练策略(SFT/RLHF),专项能力数据迭代,参与模型能力评测及评测数据和评估标准的迭代。 3. 多模态推理和通用 agent:通过强化学习(RL)持续提升多模态模型推理能力和执行任务能力,打造多模态的 test scaling laws,并推动模型对网络和虚拟世界的交互和任务完成能力。 4. 统一理解生成:构建视觉统一理解生成大模型,推进多模态统一生成与理解的推理和交互新范式。