米哈游深度学习算法工程师--实时渲染方向

1. 研究和开发基于深度学习的实时渲染技术，提升游戏画面的真实感和沉浸感； 2. 设计和优化神经网络模型，用于实时图像生成、Mobile AI超分、hlodAI生成等； 3. 负责机器学习的算法和模型开发，包括但不限于:神经网络模型设计，参数调优，各种学习和优化方式尝试。在缺乏训练集的情况下，探索训练方案； 4. 探索和实现动态场景实时渲染的深度学习解决方案，包括GI，阴影等效果； 5. 使用机器学习相关技术，协同策划、美术解决游戏开发流程中的问题，提高开发效率； 6. 跟踪学术界和工业界的最新进展，将前沿技术应用于实际项目中； 7. 为计算资源有限的移动平台编写高性能代码，基于CPU，GPU，NPU的交互开发，探索完全发挥硬件性能的最佳方案。

1、负责智能眼镜的图像标定与校准算法，开发和优化图像配准、畸变校正、深度估计等关键技术，提升图像采集的真实感、稳定性以及与现实世界的精确对齐，解决复杂环境下的图像成像问题，如动态场景、光照变化等； 2、设计和实现高效的图像增强算法，确保实时、准确地捕捉用户眼睛、虹膜等图像特征。 研究和实现基于眼动追踪的交互技术，探索新的交互方式，如视线交互、注视点渲染等。； 3、优化现有算法，提升计算效率，应用最新的深度学习技术，提升算法的性能和鲁棒性，确保实时性和低延迟。 4、持续跟踪和研究相关领域前沿技术。

1. 优化现有方案：改进传统五轴防抖算法，融合深度学习模型（如Vid2Vid、ST-GAN），提升旋转+平移抖动的修正精度；分析抖动模式与用户运镜意图，设计动态路径平滑策略； 2. 3D场景渲染与新视角生成：基于3DGS/NeRF技术构建视频序列的三维场景表示；开发视角合成模块，实现防抖路径下的新视角渲染与抖动补偿；优化多视角一致性与渲染效率，降低几何畸变与模糊残留； 3. 实时部署与软硬融合：设计轻量化3DGS网络架构，适配移动端算力；联合硬件团队优化算法在ISP/DSP的协同计算，降低功耗与延迟；推动技术落地至小米旗舰手机与智能汽车车载相机系统。 【课题名称】 视频AI防抖（基于3D场景重建的智能运镜防抖技术研究） 【课题内容】 研究并开发结合三维场景还原（如3DGS、NeRF）与专业运镜路径规划的视频防抖系统。 1. 利用3D高斯溅射（3DGS）等技术实现动态场景的三维空间重建； 2. 设计新视角生成算法，提升防抖路径平滑度与空间连续性； 3. 探索算法在手机端及车载设备的实时部署能力，支持专业运镜模式下的抖动补偿。

1、参与并实现端到端多视角三维重建流水线：数据预处理、相机/传感器标定与对齐、稠密重建与渲染模块的设计与开发。 2、基于 NeRF、3DGS 等神经渲染与可微渲染方法，研发可扩展、高效的模型与部署方案，兼顾质量与性能。 3、设计并搭建量化评估体系与自动化测试框架，用以衡量重建质量、推理实时性及对下游感知/规划任务的影响。 4、将研究成果工程化：与数据、标注、仿真与感知团队协作，完成模型训练流水线、离线渲染与实时仿真集成与部署。 5、优化算法性能（计算与内存），并参与模型推理加速、量化或裁剪等工程化工作以满足实时/大规模训练需求。