小米多模态感知算法工程师
任职要求
1. 扎实的C++开发能力，至少熟悉一种数据分析语言； 2. 有多目标跟踪、多模态融合、深度学习等相关经验； 3. 计算机，信号处理，数学，机器学习，机器人，自动驾驶或相关专业优先； 4. 良好的沟通能力，积极的自主学习态度，对工作认真负责； 5. 具备Radar/Lidar感知处理经验者优先。
工作职责
1. 自动驾驶多模态（Camera&Radar&Lidar) 感知处理和优化，包括感知信息的预处理，多模态融合，置信度估计等； 2. 研究先进的多模态感知算法，例如点云+图像的多模态前融合感知、learning-based多模态处理等； 3. 与上下游模块沟通，反馈、承接量产问题，打造量产数据闭环。
多模态感知算法工程师 1、设计并实现多模态传感器（摄像头、LiDAR、IMU）的数据融合算法，提升目标检测、跟踪、场景理解的鲁棒性与精度。 2、构建基于深度学习的多模态感知模型（如BEV融合、时序融合网络），解决遮挡、极端天气、低光照等复杂场景的感知难题。 3、负责激光雷达数据采集与数据处理(长尾数据, 长尾场景)，开发高效离线工具链（C++)，包括数据处理，模型训练，测试仿真等 4、跟踪多模态感知领域技术，推动算法在业务场景的迭代创新。
1. 跟踪VLM/VLA、世界模型、3D生成等前沿技术动态，结合地图领域的专业知识，探索其在智能交通与位置服务中的创新应用； 2. 基于高德海量多源异构数据，参与多模态地图大模型的构建、训练及性能调优； 3. 研发面向静态要素检测、occupancy网格预测及三维场景重建的多模态感知算法，建设复杂城市场景下的空间理解与环境表征能力。
主要从事物联网（IoT）与人工智能（AI）的跨领域技术研发，聚焦多模态感知与大模型优化在智能家居场景的深度应用，具体方向包括： 1. 多模态融合感知：研发基于视觉、语音、环境传感等多源数据的融合算法，构建高精度环境感知系统，实现对用户行为与空间状态的实时理解； 2. 垂域大模型优化：针对智能家居场景优化大模型架构，开发参数高效微调（如LoRA）与轻量化部署方案，提升模型在边缘设备端的推理效率； 3. 智能决策系统：融合多模态感知与大模型分析能力，构建个性化推荐引擎，实现设备联动自动化与场景化服务（如自适应照明、安防预警等）。 【课题名称】 基于多模态感知的IoT垂域大模型应用 【课题内容】 基于多模态感知融合技术的垂域大模型优化方案，拓展智能家居场景应用，实现环境、语音与视觉数据的协同分析与智能决策。
负责感知算法相关研究、开发与产品化，包括但不限于： 1. 负责承接多模态感知算法，包括但不限于视觉、激光雷达、亳米波雷达的深度、检测、分割、occ、动态等感知任务，并落地产品； 2. 结合自研平台硬件设计，选择高效的backbone和网络结构，并对网络进行压缩部署，实现高效端侧部署； 3. 负责研究视觉相机、结构光、激光雷达等传感器的特性，开发相关的传感器算法并落地产品； 4. 跟进调研最新的网络算法，并且导入新网络改善感知能力。