安克创新机器人AI算法工程师(博士)
任职要求
任职要求: 1、计算机、数学、电子工程、软件工程等相关专业,研究方向为计算机视觉、大模型等人工智能方向; 2、熟悉目标检测、图像分割、视频理解、VQA等一个或多个技术领域知识,具有跨模态算法的研究经验,对多模态落地具有强烈的热情; 3、熟悉主流LLM/VLM/VLA基座模型,掌握Prompt与…
工作职责
职位描述: 1、负责视觉-语言大模型在通用障碍物避障、导航与路径规划中的关键算法的研发与实现; 2、参与模块化端到端、VLM端到端等技术应用研究,推动其在机器人系统中的落地; 3、参与大模型预训练、对齐和微调等工作,跟踪AI大模型领域最新研究成果,并将其应用于实际项目中; 4、深入研究深度学习、强化学习最新进展,探索其在多模态数据融合下的应用与优化。
公司介绍 滴滴于 2016 年组建自动驾驶技术研发部门,致力于打造世界领先的 L4 级自动驾驶技术,通过科技让出行更安全、更高效。我们相信,将自动驾驶技术部署在共享出行车队中,将创造最大的社会价值。依托滴滴在出行领域的 先进技术、海量数据、丰富经验和完整的出行平台生态,我们正在打造并运营世界领先的自动驾驶 Robotaxi 车队,推动自动驾驶在城市复杂交通场景中的规模化落地。 职位描述 作为感知团队的一员,你将与国内外顶尖人才一起,研究和开发自动驾驶领域的前沿算法,直接赋能 L4 Robotaxi 的大规模部署。 你将面向真实城市道路场景中的多样化挑战,利用多模态传感器(LiDAR、Camera、Radar 等)设计、开发并优化感知算法,解决物体识别、障碍物检测、场景理解、意图预测与大模型赋能等核心问题。 在这里,你将有机会: 与中美两地的优秀工程师和科学家合作,参与世界级的技术竞争; 深入研究并推动最前沿的学术成果在产业中的落地; 在全球最大出行平台之一的业务场景中,实现科研成果的规模化应用。 主要方向与职责: 你将在以下方向中选定一个或多个方向深入负责,并承担从研发到落地、从算法到系统的端到端职责: (一)物体识别与跟踪 设计并实现基于 LiDAR / Camera / Radar 的多模态检测模型,识别车辆、行人、自行车、静态障碍物、交通标志等 提升精度、召回率与抗扰性(抗遮挡、夜间、恶劣天气、长尾类别) (二)通用障碍物识别 识别未知类别 /未训练类别的障碍物 基于异常检测 /开放类别识别的算法研究与工程实现 在非结构化环境(施工区域、道路损坏、落物等)中提升鲁棒性 (三)场景和意图理解 语义分割、实例分割、道路 /车道/交通标志/交通灯等结构物识别 场景理解,例如施工区域识别、可通行区域识别等 意图理解,例如行人动作识别、起步意图识别等 交互和事件识别,例如多方交互、交通规则冲突、非规范驾驶行为等 (四)感知大模型 /多模态 探索或应用预训练多模态大模型,将视觉、语言、地图/文本信息融合以增强感知能力 零样本 / 少样本 / 跨域泛化的策略研发 将大模型成果迁移到真实车队感知系统中,提升复杂场景下的鲁棒性 (五)模型评估、验证 构建完整的评估管道,包括离线评估 + 真实道路 + 模拟环境测试,支持回归检测与性能监控 指标体系设计 (Precision, Recall, IoU, latency, false positives rate 等)
1. 基于 NVIDIA Isaac 的仿真平台开发 ‒ 搭建和维护基于 NVIDIA Isaac Sim 的机器人仿真系统,支持多种机器人类型(例如移动机器人、机械臂、无人车等)。 ‒ 利用 NVIDIA Omniverse 技术,构建高保真的虚拟环境,模拟物理特性(如动力学、传感器特性、碰撞检测等)。 ‒ 开发和优化 Isaac Sim 中的自定义扩展模块,满足项目需求。 2. 环境建模与场景构建 ‒ 使用 NVIDIA Omniverse 和其他建模工具(如 Blender、Maya)创建逼真的仿真环境和场景。 ‒ 配置和调试虚拟传感器(如激光雷达、摄像头、IMU)以模拟真实硬件行为。 ‒ 构建动态交互场景,用于测试机器人在复杂环境中的性能。 3. 机器人控制与算法验证 ‒ 在仿真环境中集成和测试机器人算法(如SLAM、路径规划、运动控制)。 ‒ 验证和优化机器人感知算法(如视觉检测、环境感知)在高保真模拟环境中的效果。 ‒ 通过仿真结果分析算法性能,为实际机器人实施提供支持。 4. 系统集成与工具链开发 ‒ 与机器人硬件和软件团队合作,将仿真结果与实际机器人验证无缝对接。 ‒ 开发自动化测试工具和数据可视化分析工具,提高开发效率和数据洞察能力。 ‒ 集成 Isaac 与其他机器人框架(如 ROS/ROS 2)以支持全栈开发。 5. 研究与创新 ‒ 研究 NVIDIA Isaac 平台的最新功能和应用场景,将新技术引入仿真系统开发。 ‒ 跟踪机器人仿真领域的前沿技术(如物理引擎优化、AI 模型仿真、数字孪生技术),并应用于项目中。
1、参与电商大模型智能体产品研发,包括框架设计、算法开发、迭代优化等 2、根据业务产品形态对大模型进行post training(SFT/RLHF等)优化、结构优化、prompt engineering等 3、基于LLM的机器人AI Agent模块与产品其他功能模块交互的工程实现 4、跟进大模型智能体前沿技术趋势,结合实际业务需求,将技术应用到实际业务场景
我们是谁? 作为中国领先的数字地图内容及导航服务提供商,高德地图日均服务数亿用户出行决策,每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎,持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页:https://github.com/amap-cvlab 为何加入我们? 挑战世界级技术难题,追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责: 1、负责研发空间智能核心技术,进行室内/室外/航拍/卫片等全场景高质量空间理解、重建与生成,包括但不限于基于图像、视频、点云、Mesh和3DGS等多种模态数据的空间智能基座与应用; 2、负责多模态大模型和视频生成大模型的预训练、微调等工作,包括但不限于数字人、生成式重建及空间生成等应用方向; 3、负责大规模多模态数据集的构建、清洗与管理,搭建高效数据流水线,保障算法训练与评估; 4、负责结合具体需求,抽象出关键算法进行研发,并持续保持及引领相关技术指标。