商汤IAG-智能座舱-多模态大模型研究员
任职要求
1. 教育背景：计算机、人工智能等相关专业硕士或者博士，需有扎实数学基础； 2. 工作经验：2 年以上cv/nlp/大模型关领域经验，有成功项目者优先，能独立完成模型设计、训练等工作； 3. 专业技能：精通一种深度学习框架，熟悉主流多模态大模型，包括不限于熟悉大语言…
工作职责
1. 业务研发：负责智能车舱多模态大型模型的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究大模型领域的前沿技术和趋势，为项目提供技术支持； 2. 模型优化：协同算法、数据团队，把研究成果转化为实用模型，负责架构设计、参数配置及训练流程搭建。运用深度学习框架（如PyTorch、huggingface库、deepspeed）训练、优化模型，依实验结果调整参数与策略，利用评估工具分析模型表现，提出改进措施； 3. 数据管线：收集、整理、标注多模态数据，构建高质量数据集，为模型训练打基础。对数据清洗、归一化、提取特征，提升数据质量与训练效率。参与制定数据存储、备份及安全策略，保障数据安全与可访问； 4. 算法研究：密切追踪多模态大模型前沿技术，定期撰写分析报告，为团队决策提供战略依据。开展创新研究，探索新架构、算法，钻研多模态数据融合等难题，实验验证以推动技术突破，提升模型对多模态数据处理的性能与泛化力；
1、可视化界面开发： a.设计并实现高性能、高保真的图像/视频流实时显示模块（支持多路摄像头输入）； b.开发感知结果显示组件（如：2D/3D目标检测框、车道线、可行驶区域、点云渲染、轨迹预测等），确保渲染准确、流畅； c.构建实时性能监控面板，直观展示系统状态、资源占用、算法指标等关键数据（图表、仪表盘等）； d.实现人机交互 (HMI) 控件：包括但不限于地图操作（缩放、平移、视角切换）、时间轴控制、场景选择、图层管理、视图切换等； e.开发数据录制与回放控制功能按钮及状态指示界面； 2、交互与用户体验： a.设计并实现流畅、直观的用户交互逻辑，提升工程师的操作效率和工具易用性； b.确保界面响应迅速，尤其在处理大规模实时数据流时保持良好的性能； c.关注用户反馈，持续优化工具链的用户体验； 3、工程化与协作： a.使用现代前端框架和最佳实践进行模块化、组件化开发，保证代码质量和可维护性； b.与后端工程师紧密协作，定义高效的数据通信接口 (API/WebSocket)，确保前后端数据流稳定可靠； c.与算法工程师、测试工程师、产品经理有效沟通，理解需求并将其转化为技术实现； d.编写清晰的技术文档和接口文档； 4、性能与可靠性： a.优化前端渲染性能，解决大数据量、高频率更新带来的性能瓶颈； b.确保工具链的高可靠性和稳定性，特别是在长时间运行和数据录制场景下； c.开发必要的测试用例，参与前端自动化测试建设；
1. 负责自动驾驶泊车场景中，基于视觉、超声、IMU、轮速等多种传感器的感知融合算法研发工作； 2. 负责基于多传感器的Freespace区域融合、边界生成以及动态障碍物处理工作； 3. 负责车位融合工作，包括车位的跟踪、优化、属性判定等工作； 4. 负责融合算法在产品线的部署优化与精度对齐工作，与共同完成量产项目的交付。
工作职责： 1、负责智能车舱软件测试平台新功能开发，使测试平台能根据需求完整自动化测试； 2、掌握相关软件测试技能熟悉团队测试方法，根据实际需求优化测试平台； 3、负责维护现有测试平台功能，解决测试平台中出现的bug； 4、负责编写相关培训文档，指导相关人员使用测试功能；
1、负责城区复杂交通场景下的在线建图算法开发工作，对来源于感知输出的车道线、红绿灯、交通标志等元素进行局部的矢量与拓扑地图构建； 2、负责在线地图与离线地图的融合开发工作，将行业内的多源地图如：HDMap、LDMap、SDMap等与在线地图进行融合，生成全局导航地图； 3、结合实际业务需求，对在线建图算法进行针对性的设计和优化，提升算法在地图精度、实时性、鲁棒性等方面的性能表现，以满足智能驾驶车辆在城区环境下的高精度地图需求。