小鹏汽车机器学习与视觉大模型算法工程师
任职要求
- 计算机相关专业硕士及以上学历（优秀本科生也可以考虑），在计算机视觉、自然语言处理、语音理解等领域具有相关背景。 - 对机器学习基本理论和相关应用领域有深刻认知。 - 熟练掌握编程语言（Python / C++），并有丰富的深度学习框架使用经验（如Pytorch, TensorFlow）。 - 谦逊开放、思…
工作职责
【关于我们】 小鹏机器人中心致力于研发先进的人形机器人技术，包括机器人的行走、操作、智能导航，以及在大语言模型支持下的人机交互等。我们的软硬件团队覆盖深圳、上海、广州、北京和北美，组成了一支世界一流的跨领域团队。作为本团队的一员，你将成为连接人工智能与物理世界的桥梁，与其他领域的工程师共同解决前沿的科研和工程难题，并在机器人技术的发展中留下自己的印记。 - 开发和改进机器学习和视觉算法，以支持机器人的空间感知、导航、操作、交互等功能。 - 应用各种最新的机器学习算法，包括端到端模仿学习、强化学习、大语言模型，推动人形机器人的发展。 - 开发使机器人从其与物理世界的交互中学习与进化的算法。 - 对算法涉及的数据、训练优化和部署环境等环节有深刻认知，并领导或参与跨团队合作。 - 深⼊探索未知⼯程和技术领域，影响并参与决策。
公司介绍 滴滴于 2016 年组建自动驾驶技术研发部门，致力于打造世界领先的 L4 级自动驾驶技术，通过科技让出行更安全、更高效。我们相信，将自动驾驶技术部署在共享出行车队中，将创造最大的社会价值。依托滴滴在出行领域的 先进技术、海量数据、丰富经验和完整的出行平台生态，我们正在打造并运营世界领先的自动驾驶 Robotaxi 车队，推动自动驾驶在城市复杂交通场景中的规模化落地。 职位描述 作为感知团队的一员，你将与国内外顶尖人才一起，研究和开发自动驾驶领域的前沿算法，直接赋能 L4 Robotaxi 的大规模部署。 你将面向真实城市道路场景中的多样化挑战，利用多模态传感器（LiDAR、Camera、Radar 等）设计、开发并优化感知算法，解决物体识别、障碍物检测、场景理解、意图预测与大模型赋能等核心问题。 在这里，你将有机会： 与中美两地的优秀工程师和科学家合作，参与世界级的技术竞争； 深入研究并推动最前沿的学术成果在产业中的落地； 在全球最大出行平台之一的业务场景中，实现科研成果的规模化应用。 主要方向与职责： 你将在以下方向中选定一个或多个方向深入负责，并承担从研发到落地、从算法到系统的端到端职责： （一）物体识别与跟踪 设计并实现基于 LiDAR / Camera / Radar 的多模态检测模型，识别车辆、行人、自行车、静态障碍物、交通标志等 提升精度、召回率与抗扰性（抗遮挡、夜间、恶劣天气、长尾类别） （二）通用障碍物识别 识别未知类别 /未训练类别的障碍物 基于异常检测 /开放类别识别的算法研究与工程实现 在非结构化环境（施工区域、道路损坏、落物等）中提升鲁棒性 （三）场景和意图理解 语义分割、实例分割、道路 /车道/交通标志/交通灯等结构物识别 场景理解，例如施工区域识别、可通行区域识别等 意图理解，例如行人动作识别、起步意图识别等 交互和事件识别，例如多方交互、交通规则冲突、非规范驾驶行为等 （四）感知大模型 /多模态 探索或应用预训练多模态大模型，将视觉、语言、地图/文本信息融合以增强感知能力 零样本 / 少样本 / 跨域泛化的策略研发 将大模型成果迁移到真实车队感知系统中，提升复杂场景下的鲁棒性 （五）模型评估、验证 构建完整的评估管道，包括离线评估 + 真实道路 + 模拟环境测试，支持回归检测与性能监控 指标体系设计 (Precision, Recall, IoU, latency, false positives rate 等)
1、负责多模态空间理解算法的研发工作，包括但不限于激光雷达、图像、视频、文本等多模态数据处理、融合和理解 2、设计和研发多任务统一的大模型系统，包括但不限于语义分割、目标检测、OCR识别、reID等 3、支持算法在XR领域的应用，持续优化空间理解的效果和准确率 4、参与团队合作，与团队共同解决空间智能在房产行业落地的技术问题
我们是谁？ 作为中国领先的数字地图内容及导航服务提供商，高德地图日均服务数亿用户出行决策，每日处理超百亿级位置数据。视觉技术中心是驱动高德实现厘米级高精地图、实时三维重建、多模态感知等核心技术的引擎，持续突破自动驾驶、AR导航、智慧交通等领域的技术边界。 团队gihub主页：https://github.com/amap-cvlab 为何加入我们？ 挑战世界级技术难题，追求智能上限 用AI驱动国民级APP的产品迭代和颠覆式创新 岗位职责： 1. 多模态大模型研发与应用 负责多模态大模型的核心架构设计，研究并实现图片、视频、文本等跨模态特征对齐、融合与表征学习方法，负责多模态大模型的数据准备、高效训练（包括但不限于预训练、SFT、强化学习等）、推理加速等。 2. 模型优化与小型化部署 负责多模态大模型的轻量化设计、压缩与加速，确保模型在端侧设备上的高效运行。 针对高德地图的实际业务场景，优化模型性能，平衡精度与效率。 3. 创新性研究与落地 跟踪端侧生成式AI（Edge Generative AI）、强化学习（PPO、GRPO等）、智能Agent等前沿技术，探索多模态大模型在自动驾驶、智能导航等领域的潜在应用。 将研究成果快速转化为实际产品功能，推动技术创新与业务增长。
职位描述 面向淘天自营业务场景，探索大模型与推荐算法结合的下一代推荐系统技术，充分利用大模型的领域知识和学习范式为推荐系统注入新动力，包括但不限于生成式推荐、模型Scaling Law、用户超长序列建模等，解锁更大的算法提升空间； 1.负责大语言模型、多模态大模型的训练，探索预训练表征的高效处理方式以及与推荐系统的结合方式，让推荐系统充分理解世界知识； 2.基于类Transformer架构的设计和升级推荐大模型，验证推荐的Scaling Law，探索兼顾性能和效果的模型技术，持续提升业务场景效果； 3.结合业务目标和场景特点，探索并利用大语言模型技术对现有推荐系统的各环节进行优化改进，探索并开发生成式推荐系统技术，提升用户体验，实验业务价值； 4.持续关注行业内人工智能技术的发展趋势，结合业界前言技术和业务需求，和工程同学一起探索&打造大模型应用的最佳实践，提升业务效果和用户体验；