高德地图高德-多模态大模型算法工程师-视觉团队
任职要求
1、3年及以上工作经历,计算机科学、人工智能等相关专业硕士及以上学历。 2、熟悉多模态领域前沿技术(如CLIP、Stable Diffusion、DreamFusion等),掌握指令微调、LoRA等高效微调方法。有实际项目经验的优先。 3、熟练使用PyTorch…
工作职责
我们正在寻找对多模态技术充满热情的算法工程师,加入我们的前沿技术研发团队。您将专注于多模态理解与生成,推动其在地图数据、信息流推荐、打车服务等场景中的落地应用,为用户提供更智能、更沉浸的服务。 主要职责 1、多模态模型研发:开发业界领先的图文多模态理解与生成模型,结合扩散模型(Diffusion Models)、Transformer架构等实现高质量场景理解和动态内容生成。 2、模型优化与性能提升:优化多模态模型的推理速度和计算效率,支持端侧部署。探索适合大模型的压缩与加速技术(包括但不限于量化、剪枝、知识蒸馏等)。 3、业务场景落地:将多模态技术应用于实际业务场景,如地图数据(道路、POI等)、信息流推荐、打车服务等。与产品、工程团队合作,推动技术从研发到上线的全流程落地。 4、前沿技术探索:持续跟踪生成式AI(Generative AI)、跨模态对齐、思维链强化学习、多模态交互、具身智能等最新技术趋势,提出创新性解决方案。
一、团队介绍 高德视觉技术中心为高德业务提供全面的核心视觉技术,是高德时空互联网领域重要的技术驱动力。我们专注于图像识别、点云识别、三维重建和传感器融合定位等领域, 我们致力于研究和开发业内领先的感知、SLAM、重建和多模态大模型等算法, 促科技创新,与生态共进,连接真实世界,做好一张活地图,让出行和生活更美好! 通过视觉技术中心的春季实习生项目,高校学生通过此项目可以接触到高德真实的业务场景和海量时空大数据,在优秀的前辈与高德技术人交流学习中加速成长。我们希望更多优秀的高校同学加入我们,一起打造极致的算法和产品体验。 二、基本要求 面向预期于26、27届毕业的同学,可以连续实习至少三个月的同学优先。实习地点:北京,我们将提供有竞争力的实习薪酬和充足的训练资源。 三、算法实习生 职位描述 团队主要聚焦视觉、矢量地图、多模态大模型技术,我们期待你的工作将覆盖以下至少一个技术方向: 1. 探索自动驾驶场景下的在线感知、建图、关联等前沿技术,包括但不限于矢量地图构建、矢量地图关联等; 2. 探索多模态大模型在下游任务中的技术能力,包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等;
这个世界的运行机制是否是可计算的?世界的复杂性是否唯有用AI的复杂性来应对?人类是否可以造出一台机器让未来就像过去一样历历在目?面对这些未知而又迷人的世界级难题,阿里巴巴旗下高德地图将组建一支卓越的AI队伍向世界模型发起冲击。在这里,你将获得无限制的算力,让想象力在算力的加持下尽情驰骋;在这里,你将和顶级的空间智能专家并肩作战,让专业与专注碰撞出世界模型最精彩的火花;在这里,你将接触到高德积累了20年的海量真实世界数据,让包罗万象的数据发挥它本来应有的价值。 一、团队介绍 我们是阿里巴巴旗下高德视觉技术中心的具身世界模型团队。这里有自由探索、开放交流的技术氛围,让每个有价值的idea都得到充分的展现和验证。这里有来自国内外顶尖院校毕业的研究员,知名AI项目/论文的作者可能就坐在你身边,让顶尖智力一起碰撞出最美妙的火花。我们是一支兼具学术界和产业界视角的团队,仰望星空,脚踏实地。 团队gihub主页:https://github.com/amap-cvlab 二、我们要去哪? 1、打造可交互、可控制、物理一致的世界模型,突破空间智能技术边界 2、通过世界模型加速物理智能体的进化 3、探索下一代时空基座模型 三、岗位职责: 1. 3D动/静态生产: 利用三维重建、生成模型、多模态大模型对单图、视频完成动态物体/静态场景重建、生成、编辑,并得到可交互的3D资产与长时序视频; 2. 结合3D表征的视频生成: 研发基于动作、轨迹等条件控制的视频生成算法,确保生成内容具备严格的3D几何一致性与物理规律遵循,实现对场景视角、物体交互的精细化控制,为具身智能体提供高保真的虚拟训练环境; 3. 空间推理: 赋予模型深度的三维空间理解与物理常识推理能力(如物体可供性、碰撞动力学、场景拓扑),使其能理解场景背后的物理因果,辅助下游的复杂决策与规划; 4. 训练闭环搭建: 构建“生成-仿真-评估-优化”的自动化数据闭环,利用生成数据扩充训练集(Data Augmentation),并通过端到端系统的反馈迭代优化世界模型,实现数据飞轮效应; 5. 世界模型构建: 结合具身智能、自动驾驶等数据探索空间智能的统一范式,完成环境感知、智能体预测、决策规划等任务并得到未来状态和未来传感器信息,为强化学习提供基座; 6. 产线落地与性能优化: 与具身智能、自动驾驶、智能导航等业务协同,完善仿真数据链路,优化模型推理效率与显存占用; 7. 前沿追踪: 跟踪学术界和工业界在生成式AI/世界模型相关领域的最新进展,保持公司在该领域的技术领先地位。
团队介绍: 作为中国领先的数字地图内容及导航服务提供商,高德地图日均服务数亿用户出行决策,每日处理超百亿级位置数据。视觉技术中心是驱动高德实现空间智能、高精度地图、三维重建、LLM/VLM,AI Agent等核心技术,持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕,更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门,我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心,推动智能出行与真实世界连接的深度融合。 团队gihub主页:https://github.com/amap-cvlab 为何加入我们? 挑战世界级技术难题,追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 我们在做什么? 高德拥有全中国最庞大、最真实的物理世界视觉数据。我们不只是在做地图,我们正在基于空间智能构建一个能够感知、理解并预测物理规律的“具身基座模型”。 在这里,你将触达数亿级真实街景、轨迹与语义数据,解决从“数字地图”到“通用物理智能”的终极跨越。 岗位核心挑战 具身基座模型 (Embodied Foundation Models): 研发下一代VLA/WAM大模型,突破多模态指令到精准动作映射的瓶颈,实现跨场景的零样本迁移能力。 世界模型 (World Models): 构建基于大规模视频生成的物理世界模拟器,利用生成式AI预测场景演化,为具身智能提供无限的训练“想象空间”。 大模型后训练与强化学习 : 探索GRPO、PPO、SAC等算法在多模态大模型、具身控制上的应用,通过大规模强化学习提升Agent在复杂时空环境下的决策边界。 大规模数据合成与闭环: 利用高德独有的时空数据优势,构建自动化的具身数据生产、评测管线,解决Scaling Law在具身领域的落地难题。 开源影响力与行业基准: 主导或深度参与具身智能开源项目建设。 我们鼓励将核心算法框架、高质量具身数据集或评估基准贡献给开源社区,打造具有行业号召力的开源作品,定义下一代具身智能的技术标准。 为什么加入高德视觉团队? 顶级的“真”数据: 区别于实验室的玩具数据集,我们拥有海量真实室内外场景与空间语义数据,这是训练基座模型最完美的温床。 极致的算力支持: 提供充足的集群资源,让你的Idea不受算力瓶颈束缚。 真实的应用场景: 你的代码将直接驱动真实物理产品,影响数亿用户的出行决策。 极简的技术氛围: 扁平化管理,与世界顶尖研究者共同探索AI的下一站。 加入我们,一起定义物理世界的AI入口!

团队介绍: 作为中国领先的数字地图内容及导航服务提供商,高德地图日均服务数亿用户出行决策,每日处理超百亿级位置数据。视觉技术中心是驱动高德实现空间智能、高精度地图、三维重建、LLM/VLM,AI Agent等核心技术,持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕,更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门,我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心,推动智能出行与真实世界连接的深度融合。 团队gihub主页:https://github.com/amap-cvlab 为何加入我们? 挑战世界级技术难题,追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 我们在做什么? 高德拥有全中国最庞大、最真实的物理世界视觉数据。我们不只是在做地图,我们正在基于空间智能构建一个能够感知、理解并预测物理规律的“具身基座模型”。 在这里,你将触达数亿级真实街景、轨迹与语义数据,解决从“数字地图”到“通用物理智能”的终极跨越。 岗位核心挑战 具身基座模型 (Embodied Foundation Models): 研发下一代VLA/WAM大模型,突破多模态指令到精准动作映射的瓶颈,实现跨场景的零样本迁移能力。 世界模型 (World Models): 构建基于大规模视频生成的物理世界模拟器,利用生成式AI预测场景演化,为具身智能提供无限的训练“想象空间”。 大模型后训练与强化学习 : 探索GRPO、PPO、SAC等算法在多模态大模型、具身控制上的应用,通过大规模强化学习提升Agent在复杂时空环境下的决策边界。 大规模数据合成与闭环: 利用高德独有的时空数据优势,构建自动化的具身数据生产、评测管线,解决Scaling Law在具身领域的落地难题。 开源影响力与行业基准: 主导或深度参与具身智能开源项目建设。 我们鼓励将核心算法框架、高质量具身数据集或评估基准贡献给开源社区,打造具有行业号召力的开源作品,定义下一代具身智能的技术标准。 为什么加入高德视觉团队? 顶级的“真”数据: 区别于实验室的玩具数据集,我们拥有海量真实室内外场景与空间语义数据,这是训练基座模型最完美的温床。 极致的算力支持: 提供充足的集群资源,让你的Idea不受算力瓶颈束缚。 真实的应用场景: 你的代码将直接驱动真实物理产品,影响数亿用户的出行决策。 极简的技术氛围: 扁平化管理,与世界顶尖研究者共同探索AI的下一站。 加入我们,一起定义物理世界的AI入口!