京东空间智能大模型创新与应用
任职要求
1. 获得本科及以上学历，计算机视觉、图形学、人工智能等相关专业； 2. 精通3D与图形学领域核心技术，包括但不限于3D/4D高斯重建、AIGC 3D/4D生成、3D感知、世界模型、可微渲染及逆渲染等； 3. 熟练掌握PyTorch或Te…
工作职责
1. 优化基于多模态大模型的3D内容生成算法，实现模型与场景等内容的可控生成与编辑，支持多模态输入驱动； 2. 探索高斯泼溅(Gaussian Splatting)等新型3D表征技术，优化模型、场景、4D及世界模型(World Models)等内容的高质量生成、高效压缩与实时渲染； 3. 推动3D空间智能生成技术在业务场景的落地，协同跨部门团队集成生成工具链路，实质性提升内容生产效率。
【课题说明】 致力于探索多模态大模型与强化学习的前沿技术。研究方向包括多模态表征与理解、强化学习增强的生成与对齐、智能体（Agent）决策与规划等，业务影响覆盖美团外卖每天数千万的订单，核心工作是为用户及商家实现地理空间的智能规划，包括商家配送范围（决策用户是否能在该商家下单）、Area of Interest边框挖掘（AOI，即用户所处地理社区边界，保证用户下单体验的一致性）、用户拼单范围、骑手取件区域的建模与优化。目标是构建能够理解复杂业务需求、驱动范围智能调整的Agent系统，实现“技术驱动业务范式”的升级转变，最终促进平台供给繁荣与用户的供需匹配优化。 【建议研究方向】 1.多模态感知与表征建模：集成地理信息（GIS）、用户热力、图像、自然语言等多模态数据，进行联合表征学习与建模，攻克跨模态语义对齐难题，为空间智能理解与决策提供统一的感知基础。 2.强化学习增强的多模态生成与优化：探索强化学习在多模态大模型中的应用，研究基于RL的多模态内容（如图像、GIS、文本描述）生成、跨模态偏好对齐及模型自适应优化，以持续提升系统对复杂业务场景的理解与推理能力。 3.基于后训练的多模态内容理解与审核：探索多模态大模型后训练技术，实现图像质量审核、OCR识别、图文一致性校验、图像合成等能力，提升一线运营采集数据等场景的自动化水平与准确性。 4.面向履约空间规划的智能体（Agent）构建：设计并开发能意图识别、归因分析、并自主决策执行商家范围/AOI边界调整的智能体。重点研究Agent的任务规划、工具调用与动态策略优化能力。 5.业务仿真与决策推演：基于空间智能Agent，对不同的策略进行模拟推演，评估其对供给、平台规模、履约体验的影响，为科学决策提供支持。 我们将提供海量的真实业务场景与数据、充足的GPU计算资源以及极高的技术探索自由度，目标是产出兼具技术前沿性与业务影响力的成果，共同定义下一代智能履约空间位置规划的技术范式，同时能在顶级学术会议（如ICML, NeurIPS, KDD）发表paper。
团队介绍： 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现高精度地图、三维重建、LLM/VLM，AI Agent等核心技术，持续突破自动驾驶、AR导航、具身智能、推广搜和生活服务等领域的技术边界。团队不仅在计算机视觉领域持续深耕，更将计算机视觉及AI技术在自主导航、高德打车、生活服务等多元化应用场景。 作为高德地图的核心技术驱动部门，我们以下一代三维地图引擎、多模态理解与生成、空间智能、世界模型等方向为核心，推动智能出行与真实世界连接的深度融合。 团队gihub主页： https://github.com/amap-cvlab 为何加入我们？ 1. 挑战业界顶尖难题： 处理百亿级位置数据，攻克动态世界中海量POI的实时、精准感知与理解，定义未来地图的“AI之眼”。 2. 驱动国民级应用创新： 你的技术将直接应用于高德地图数亿用户依赖的扫街榜等核心功能，实现从技术突破到产品颠覆的全流程落地。 3. 置身前沿技术浪潮： 在三维地图、世界模型、具身智能等前沿领域进行深度探索与研发。 4. 预研与业务深度结合：在这里，你将同时接触到面向未来的技术预研和支撑亿级用户的业务算法。我们提供从0到1的创新探索环境，也看重从1到N的规模化落地能力。 职位描述： 我们正在寻找一位专注多模态视觉理解的算法工程师。您将主要负责利用多模态大模型技术，从海量街景图片与视频中自动发现、识别与更新地图POI信息，提升地图数据的鲜度、广度与精度，为用户提供更智能、更沉浸的出行与生活服务。本岗位兼具前瞻性技术探索与规模化业务落地的双重属性，你将有机会完整参与从创新模型研究到核心业务系统迭代的全过程。 主要职责： 1. 前瞻性模型预研与业务驱动研发：探索并研发适用于大规模街景图像/视频理解的下一代视觉-语言大模型（VLM），重点攻克POI变化发现、细粒度属性理解等关键课题，并将创新技术转化为实际业务解决方案。 2. 端到端业务落地与闭环优化： 主导多模态POI发现技术在“高德扫街榜”等核心业务中的集成、优化与全流程落地。 3. 前沿技术跟踪与创新： 持续跟踪多模态理解、视频表征学习、地理空间智能等领域的最新进展，探索技术边界发表高质量论文，实现空间感知理解的学术突破，持续迭代核心算法，达到业界sota。
1、探索空间智能领域前沿算法，掌握最新技术趋势； 2、设计并实现大规模生成式AI算法，包括但不限于图像/视频生成、3d/4d内容生成； 3、负责AIGC相关算法的优化和迭代，包含理解、生成、编辑等核心模块； 4、参与团队合作，与团队共同解决空间智能在房产行业落地的技术问题。
1、探索空间智能领域前沿算法，掌握最新技术趋势； 2、设计并实现大规模生成式AI算法，包括但不限于图像/视频生成、3d/4d内容生成； 3、负责AIGC相关算法的优化和迭代，包含理解、生成、编辑等核心模块； 4、参与团队合作，与团队共同解决空间智能在房产行业落地的技术问题。