商汤IAG-智能座舱-多模态大模型研究员
任职要求
1. 教育背景：计算机、人工智能等相关专业硕士或者博士，需有扎实数学基础； 2. 工作经验：2 年以上cv/nlp/大模型关领域经验，有成功项目者优先，能独立完成模型设计、训练等工作； 3. 专业技能：精通一种深度学习框架，熟悉主流多模态大模型，包括不限于熟悉大语言模型(如GPT、Llama等)或多模态模型(GPT4V、Gemini等)的基本原理和训练测试方法、熟悉大模型的优化、方案架构与prompt工程等； 4. 能力素质：具备科研、创新思维，能解决复杂技术难题，有良好团队协作、沟通及学习能力，对该领域充满热情并关注行业动态。
工作职责
1. 业务研发：负责智能车舱多模态大型模型的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究大模型领域的前沿技术和趋势，为项目提供技术支持； 2. 模型优化：协同算法、数据团队，把研究成果转化为实用模型，负责架构设计、参数配置及训练流程搭建。运用深度学习框架（如PyTorch、huggingface库、deepspeed）训练、优化模型，依实验结果调整参数与策略，利用评估工具分析模型表现，提出改进措施； 3. 数据管线：收集、整理、标注多模态数据，构建高质量数据集，为模型训练打基础。对数据清洗、归一化、提取特征，提升数据质量与训练效率。参与制定数据存储、备份及安全策略，保障数据安全与可访问； 4. 算法研究：密切追踪多模态大模型前沿技术，定期撰写分析报告，为团队决策提供战略依据。开展创新研究，探索新架构、算法，钻研多模态数据融合等难题，实验验证以推动技术突破，提升模型对多模态数据处理的性能与泛化力；
1. 业务研发：负责智能车舱多模态大型模型的研究、设计、开发和优化工作。参与项目的需求分析、设计评审和代码评审。跟踪和研究大模型领域的前沿技术和趋势，为项目提供技术支持； 2. 模型优化：协同算法、数据团队，把研究成果转化为实用模型，负责架构设计、参数配置及训练流程搭建。运用深度学习框架（如PyTorch、huggingface库、deepspeed）训练、优化模型，依实验结果调整参数与策略，利用评估工具分析模型表现，提出改进措施； 3. 数据管线：收集、整理、标注多模态数据，构建高质量数据集，为模型训练打基础。对数据清洗、归一化、提取特征，提升数据质量与训练效率。参与制定数据存储、备份及安全策略，保障数据安全与可访问； 4. 算法研究：密切追踪多模态大模型前沿技术，定期撰写分析报告，为团队决策提供战略依据。开展创新研究，探索新架构、算法，钻研多模态数据融合等难题，实验验证以推动技术突破，提升模型对多模态数据处理的性能与泛化力。
1. 从事视觉SFM/SLAM等前沿算法研究和设计，负责单目/多目摄像头的3D重建算法的前沿技术研发； 2. 负责智能车舱产品3D目标感知，负责车舱内DMS/OMS算法研发和模型优化工作； 3. 负责跟踪最前沿3D技术研发，负责3D感知与多模态大模型融合的研发工作；
1. 业务研发：负责车载大模型应用相关设计与开发：负责Android应用的架构设计、编码、测试和部署。编写核心代码，借助安卓开发框架集成大模型能力，实现流畅交互，搭建车载大模型应用，包括多模态沿途风光、主驾迎宾等功能模块； 2. 技术研究：跟踪最新的Android技术发展趋势，评估和实施新技术以提升应用性能。针对大模型在安卓平台应用，探索模型轻量化、推理加速等手段，减少资源占用，实现移动端高效运行；
工作职责： 1、负责智能车舱软件测试平台新功能开发，使测试平台能根据需求完整自动化测试； 2、掌握相关软件测试技能熟悉团队测试方法，根据实际需求优化测试平台； 3、负责维护现有测试平台功能，解决测试平台中出现的bug； 4、负责编写相关培训文档，指导相关人员使用测试功能；