小米机器视觉开发工程师
任职要求
专业技能 - 编程基础 - 精通 Python（主流库：OpenCV, Pillow, Scikit-image, NumPy） - 掌握 C++（工业领域高性能系统开发） - 熟悉 MATLAB（算法原型验证） - 计算机视觉算法 - 传统方法： - 特征提取算法：SIFT（尺度不变特征变换），HOG（方向梯度直方图），Haar 特征 - 分类与匹配算法：SVM（支持向量机），决策树 / 随机森林 - 深度学习： - 模型应用：CNN（分类/检测）、YOLO、Mask R-CNN、U-Net（分割） - 框架实战：PyTorch, TensorFlow, Keras - 工具与框架 - 开源库：OpenCV（必备）、Dlib, VLFeat - 工业软件：Halcon, VisionPro, Cognex（熟悉可加分） - 点云处理：PCL（Point Cloud Library）, Open3D - 硬件与系统集成 - 相机技术：CCD/C…
工作职责
- 视觉系统设计与开发
- 方案设计与硬件选型
- 根据应用场景（如工业检测、机器人导航）设计视觉系统架构，完成相机（工业相机/RGB-D）、镜头、光源及滤镜的选型与光学方案验证，解决眩光、阴影等干扰问题。
- 制定多角度照明策略，优化图像采集质量，确保被测物特征清晰可识别。
- 软件架构搭建
- 开发上位机软件界面（使用Qt/WPF/WM等工具），集成图像采集、处理及控制逻辑模块。
- 封装算法SDK，适配嵌入式或边缘计算平台，优化资源调度与执行效率。
- 算法开发与优化
- 传统与深度学习算法应用
- 开发图像处理算法（如目标定位、OCR、尺寸测量、缺陷检测），使用OpenCV/Halcon/VisionPro等库实现功能模块。
- 研究闭环检测、传感器融合（VIO）、三维重建（SLAM/TSDF）等前沿技术，提升系统精度。
- 系统集成与调试
- 跨设备协同开发
- 与电气/机械工程师协作，将视觉系统集成到PLC控制的生产线或机器人中，制定通信协议与流程逻辑。
- 在客户现场调试系统，解决定位偏差、漏检误检等问题，确保系统稳定运行
- 多传感器融合
- 实现视觉与IMU、激光雷达等传感器的数据融合，提升定位或检测可靠性（如自动驾驶感知、机器人导航）
- 技术文档与支持
- 编写设计方案、测试报告及操作手册，沉淀技术标准。
- 培训客户或操作人员，提供后期技术升级与故障排查支持。
- 技术研究与创新
- 跟踪计算机视觉领域前沿进展（如神经辐射场、端到端检测模型），评估新技术落地可行性。
- 主导技术模块复用库开发，提升团队效率。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求； 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型； 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
公司介绍 滴滴于 2016 年组建自动驾驶技术研发部门，致力于打造世界领先的 L4 级自动驾驶技术，通过科技让出行更安全、更高效。我们相信，将自动驾驶技术部署在共享出行车队中，将创造最大的社会价值。依托滴滴在出行领域的 先进技术、海量数据、丰富经验和完整的出行平台生态，我们正在打造并运营世界领先的自动驾驶 Robotaxi 车队，推动自动驾驶在城市复杂交通场景中的规模化落地。 职位描述 作为感知团队的一员，你将与国内外顶尖人才一起，研究和开发自动驾驶领域的前沿算法，直接赋能 L4 Robotaxi 的大规模部署。 你将面向真实城市道路场景中的多样化挑战，利用多模态传感器（LiDAR、Camera、Radar 等）设计、开发并优化感知算法，解决物体识别、障碍物检测、场景理解、意图预测与大模型赋能等核心问题。 在这里，你将有机会： 与中美两地的优秀工程师和科学家合作，参与世界级的技术竞争； 深入研究并推动最前沿的学术成果在产业中的落地； 在全球最大出行平台之一的业务场景中，实现科研成果的规模化应用。 主要方向与职责： 你将在以下方向中选定一个或多个方向深入负责，并承担从研发到落地、从算法到系统的端到端职责： （一）物体识别与跟踪 设计并实现基于 LiDAR / Camera / Radar 的多模态检测模型，识别车辆、行人、自行车、静态障碍物、交通标志等 提升精度、召回率与抗扰性（抗遮挡、夜间、恶劣天气、长尾类别） （二）通用障碍物识别 识别未知类别 /未训练类别的障碍物 基于异常检测 /开放类别识别的算法研究与工程实现 在非结构化环境（施工区域、道路损坏、落物等）中提升鲁棒性 （三）场景和意图理解 语义分割、实例分割、道路 /车道/交通标志/交通灯等结构物识别 场景理解，例如施工区域识别、可通行区域识别等 意图理解，例如行人动作识别、起步意图识别等 交互和事件识别，例如多方交互、交通规则冲突、非规范驾驶行为等 （四）感知大模型 /多模态 探索或应用预训练多模态大模型，将视觉、语言、地图/文本信息融合以增强感知能力 零样本 / 少样本 / 跨域泛化的策略研发 将大模型成果迁移到真实车队感知系统中，提升复杂场景下的鲁棒性 （五）模型评估、验证 构建完整的评估管道，包括离线评估 + 真实道路 + 模拟环境测试，支持回归检测与性能监控 指标体系设计 (Precision, Recall, IoU, latency, false positives rate 等)
【工作职责】 1）研发高鲁棒性的多模态导航算法架构，融合激光雷达/视觉/惯导等多传感器信息，构建动态环境认知与语义理解模型，开发自适应不同场景的导航策略框架。 2）优化实时运动控制系统：设计低延迟的路径规划与轨迹优化算法，研发动态避障与紧急制动机制，实现厘米级精度的运动控制。 3）构建智能决策系统：开发适应场景理解与行为预测的决策模块，实现复杂场景下的长期自主导航。 4）算法工程化落地：完成嵌入式平台移植与性能优化，设计系统级仿真验证方案，搭建全场景自动化测试体系。
1. 基于 NVIDIA Isaac 的仿真平台开发 ‒ 搭建和维护基于 NVIDIA Isaac Sim 的机器人仿真系统，支持多种机器人类型（例如移动机器人、机械臂、无人车等）。 ‒ 利用 NVIDIA Omniverse 技术，构建高保真的虚拟环境，模拟物理特性（如动力学、传感器特性、碰撞检测等）。 ‒ 开发和优化 Isaac Sim 中的自定义扩展模块，满足项目需求。 2. 环境建模与场景构建 ‒ 使用 NVIDIA Omniverse 和其他建模工具（如 Blender、Maya）创建逼真的仿真环境和场景。 ‒ 配置和调试虚拟传感器（如激光雷达、摄像头、IMU）以模拟真实硬件行为。 ‒ 构建动态交互场景，用于测试机器人在复杂环境中的性能。 3. 机器人控制与算法验证 ‒ 在仿真环境中集成和测试机器人算法（如SLAM、路径规划、运动控制）。 ‒ 验证和优化机器人感知算法（如视觉检测、环境感知）在高保真模拟环境中的效果。 ‒ 通过仿真结果分析算法性能，为实际机器人实施提供支持。 4. 系统集成与工具链开发 ‒ 与机器人硬件和软件团队合作，将仿真结果与实际机器人验证无缝对接。 ‒ 开发自动化测试工具和数据可视化分析工具，提高开发效率和数据洞察能力。 ‒ 集成 Isaac 与其他机器人框架（如 ROS/ROS 2）以支持全栈开发。 5. 研究与创新 ‒ 研究 NVIDIA Isaac 平台的最新功能和应用场景，将新技术引入仿真系统开发。 ‒ 跟踪机器人仿真领域的前沿技术（如物理引擎优化、AI 模型仿真、数字孪生技术），并应用于项目中。