高德地图高德-多模态大模型算法工程师/专家-图片/视频理解/模型训练方向
任职要求
基本条件： 1. 计算机科学、人工智能、机器学习等相关专业硕士及以上学历，3年以上算法研发经验； 2. 坚实的多模态大模型基础：深入理解CLIP、BLIP、LLaVA、Qwen-VL等模型的原理，并有相关实践，如有对图片、视频的理解、生成或编辑能力更加分； 3. 强烈的自驱力与好奇心：对探索AI技术边界充满热情，能主动追踪前沿并快速实验验证，具备优秀的学习能力和韧性。 优先条件： 1. 在多模态理解与生成、视觉-语言…
工作职责
职位名称： 团队介绍： 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现空间智能、高精度地图、三维重建、LLM/VLM，AI Agent等核心技术，持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕，更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门，我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心，推动智能出行与真实世界连接的深度融合。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 1. 定义未来地图范式：不再局限于传统视觉感知，而是利用多模态大模型实现从“看到”到“理解并生成”的跨越，解决行业核心痛点 2. 直面海量数据与复杂场景：处理中国乃至全球最复杂、最丰富的驾驶场景数据，构建坚实的技术壁垒 3. 完整的研发生态：从顶级学术研究（顶会论文）、开源项目（见团队GitHub）到国民级应用落地，提供全方位的价值实现舞台 岗位职责： 1. 核心方向：研发面向车道级地图自动化构建的多模态大模型，基于道路视频与图像自动提取车道线、POI信息等地图要素，实现高效、自动化的地图数据生产； 2. 模型全链路研发：负责或参与多模态大模型的预训练、有监督微调（SFT）、奖励模型（RM）训练与强化学习（RL）优化全流程，探索模型在空间推理、结构化生成任务上的能力强化路径； 3. 技术攻坚与落地：优化模型的推理效率、泛化能力与输出稳定性，研究适配的模型压缩（量化、蒸馏）、加速技术与部署方案，推动技术在大规模数据生产管线中落地； 4. 前沿探索与创新：跟踪并吸收多模态理解、视觉生成、世界模型、3DGS等领域的前沿进展，将其创新性地应用于地图生成问题，持续提升自动化生产的质量与范围。
团队介绍： 高德地图机器学习研发部是公司AI核心技术引擎，聚焦多模态大模型、视频生成与理解、图像编辑与生成等前沿领域。团队深耕人工智能技术落地，支撑亿级用户产品，同时长期投入前沿探索，在NeurIPS/ICLR/CVPR/ACL等顶会发表多篇论文，多项成果入选“最有影响力论文”榜单。我们拥有海量数据与算力资源，鼓励创新突破，诚邀你与顶尖算法专家并肩，共同定义AI的未来！如果你渴望挑战多模态与生成式AI的技术巅峰，在视频、图像、大模型的交叉领域实现突破，欢迎加入我们！团队的github页面是：https://github.com/AMAP-ML/ 我们提供 • 参与亿级用户产品的AI核心算法研发，见证技术直接赋能业务； • 与学术大牛和工业界专家共事，持续提升技术视野； • 顶配算力资源+开放创新氛围，支持前沿探索与顶会论文发表。 具体职责包含但不限于： 1. 视觉理解任务的技术探索，要求对视觉基础任务有深入的理解，做好在商品理解、详情页的文图内容、开放图片识别等公司核心业务上的落地； 2. 多模态大模型的技术探索，要求对多模态大模型训练、文图跨模态对齐等有深入实践，做好多模态大模型的能力构建和应用； 3. 追踪领域前沿工作，沉淀技术，投稿领域顶级会议。
我们是谁 快手本身是一家以内容为主的公司，在大模型技术蓬勃发展的时代，多模态能力是快手非常重视的一个方向。目前团队主要的工作重心在视频理解和图片理解，包括短视频、长视频、直播、交互式视频等，主要的任务形态以Caption和QA为主，同时在生成类场景发挥着重要的作用。团队的主要工作围绕在数据组织、模型设计、训练范式设计上，会推出基座模型给到下游业务进行SFT，部分业务是紧密合作的。模型迭代会以业务反馈作为牵引，不断提升在自建指标和公开指标上的成绩。 职位描述 1、探索多模态理解任务上的自研数据构建、模型架构和训练范式，打造业界第一梯队的多模态大模型； 2、搭建更有针对性的评测，用于真实反映模型的实用效果，为模型训练提供指导方向； 3、强化Caption和QA能力，在图片/视频的理解/描述能力上赶超GPT4o、Gemini Pro等闭源模型的实际使用效果； 4、洞察业务需求，能够以业务目标为牵引持续迭代模型，在支持好业务的同时，发掘多模态的独立出圈应用玩法； 5、探索技术边界，将有特点的技术成果进行学术转化，在顶尖学术会议上发表论文，并保持与业界专家的交流。
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。
1、打造最适合短视频、直播、搜索推荐、电商、创作者玩法的多模态大模型，为快手的各项业务提供基座模型技术支持。多模态技术是通向AGI的重要方法和里程碑，期待和更多对多模态技术感兴趣的同学一起打造真正带来价值的模型算法技术； 2、深度探索多模态大模型的多阶段预训练、监督微调和RLHF等技术，打造业界第一梯队的多模态大模型，赶超GPT-4o、Gemini Pro等闭源模型的实际使用效果； 3、图片、语音、音频和视频多种模态信号的高效处理方式探索，提供对各类信号最精准的理解能力； 4、混合专家、蒸馏剪枝等兼顾模型性能和效果的技术探索。