小米顶尖应届-相机硬件研发工程师-相机
任职要求
1. 光学专业,硕士及以上学历,具备几何光学、物理光学理论基础,会使用相关设计软件; 2. 熟悉优化算法者优先,能够编程语言进行二次开发,能够使用matlab等工程分析计算类软件; 3. 具有实际项目开发经验者优先 ; 4. 善于跟人沟通和协调工作进度,具有良好的团队合作能力,能够自我学习,自我激励。
工作职责
1. 负责新产品的光学方案设计及相关的公差、鬼像、杂光的分析仿真; 2. 负责研究产品市场发展动态,学习相关前沿技术,并应用到具体的产品设计中; 3. 探索设计优化方法,进行二次开发并应用于实际; 4. 参与重难点项目中的技术工作及总体项目的开展。 【课题名称】 成像系统设计 【课题内容】 1. 优化设计光学系统; 2. 加工可行性评估; 3. 公差感度分析与公差分配; 4. 设计算法优化。
1. 开展异构计算能效优化关键技术预研,重点突破跨处理单元的动态电压调节(DCVS)与调度协同理论; 2. 探索新型底层调度机制,研究基于强化学习的负载跟踪算法并完成原型验证平台搭建; 3. 构建相机硬件特征驱动的功耗建模体系,研发动态任务映射策略的仿真验证与量化评估工具; 4. 预研编译优化协同技术,开发面向影像系统的LTO/PGO优化原型及跨平台效能分析工具链。 【课题名称】 低功耗影像系统设计 【课题内容】 1. 构建手机异构计算架构(CPU/GPU/cDSP)的系统级能效模型,探索流水线级功耗/性能观测理论框架; 2. 研究影像系统多模态资源协同调度机制,开发基于动态负载预测的自适应能效优化算法; 3. 建立相机场景驱动的功耗特征量化评估体系,预研DVFS与动态任务映射的跨层级协同优化路径; 4. 创新编译优化技术架构,探索过程间优化(IPO)与链接时优化(LTO)的深度协同机制及效能评估模型。
1. 预研基于用户相机使用习惯预测用户相机操作的轻量级算法模式结构设计与开发; 2. 预研基于相机使用环境和场景预测相机运行所需资源分配的算法方案; 3. 设计系统状态实时监控,开发强化学习驱动的动态调度器,支持异构硬件单元毫秒级抢占; 4. 结合预测算法和动态调度器,实现相机负载均衡和帧率稳定。 【课题名称】 影像意图识别系统-AI调度器 【课题内容】 1. 轻量级用户行为预测算法设计; 2. 轻量级相机资源需求预测算法设计; 3. 开发系统资源AI调度器。
1. 优化现有方案:改进传统五轴防抖算法,融合深度学习模型(如Vid2Vid、ST-GAN),提升旋转+平移抖动的修正精度;分析抖动模式与用户运镜意图,设计动态路径平滑策略; 2. 3D场景渲染与新视角生成:基于3DGS/NeRF技术构建视频序列的三维场景表示;开发视角合成模块,实现防抖路径下的新视角渲染与抖动补偿;优化多视角一致性与渲染效率,降低几何畸变与模糊残留; 3. 实时部署与软硬融合:设计轻量化3DGS网络架构,适配移动端算力;联合硬件团队优化算法在ISP/DSP的协同计算,降低功耗与延迟;推动技术落地至小米旗舰手机与智能汽车车载相机系统。 【课题名称】 视频AI防抖(基于3D场景重建的智能运镜防抖技术研究) 【课题内容】 研究并开发结合三维场景还原(如3DGS、NeRF)与专业运镜路径规划的视频防抖系统。 1. 利用3D高斯溅射(3DGS)等技术实现动态场景的三维空间重建; 2. 设计新视角生成算法,提升防抖路径平滑度与空间连续性; 3. 探索算法在手机端及车载设备的实时部署能力,支持专业运镜模式下的抖动补偿。
1. 参与领域大模型相关技术的调研验证; 2. 参与手机相机影像相关算法研发工作,开发行业领先的影像大模型算法; 3. 参与手机相机视觉相关功能研发,交付落地旗舰机型; 4. 研究行业动态,紧跟视觉/多模态大模型相关领域最新学术研究成果并转化成商用技术; 5. 参与学术研究,产出具备行业影响力的科研成果。 【课题名称】 影像大模型研发-高优先级功能 【课题内容】 1. 影像领域基础模型的研发; 2. 基于大模型的端到端影像系统研发; 3. 基于大模型影像功能算法的研发,具体到大模型抓拍、TurboRaw; 4. 基于大模型的图像理解、感知算法的研发; 5. 大模型小型化技术探索及研发。