米哈游基础研究-3D大模型数据工程师
任职要求
1.2027届本科及以上学历,计算机科学/图形学/计算几何/机器学习相关专业,3年以上CUDA并行计算开发经验; 2.熟悉C++及现代标准,熟悉PyTorch框架,具备PyTorch C++扩展开发经验,同时具备Python/C++混合编程能力,熟悉Pybind11等绑定工具; 3.熟悉图形学算法,有BVH、网格处理、计算几何项目经验,掌握Marching Cubes、Delaunay三角剖分、四面体网格生成等经典算法,以及光线追踪、网格距离场计算、SDF等图形算法; 4.掌握3D网格处理算法,包括网格简化、重新网格化、碰撞检测等,熟练使用Eigen、CGA…
工作职责
1.基于CUDA开发用于AI 3D模型训练的高精度网格重建算法,包括可微渲染、网格优化与GPU加速; 2.设计实现可微渲染和神经渲染系统,支持AI模型训练的高质量3D数据生成; 3.开发面向大规模3D数据处理的几何算法:高精度网格重建、简化、拓扑优化; 4.实现SIGGRAPH级别的AI 3D重建算法工程化,优化训练数据质量和生成效率。
1.主导新一代 3D 资产生成大模型的研发工作,聚焦生成质量、效率与可控性三大核心维度,突破现有技术瓶颈,打造行业领先的技术方案; 2.设计并构建工业级 3D AI 生成全流程管线,针对性解决几何拓扑优化、高保真材质贴图生成等关键技术问题,保障管线的稳定性与落地性。
1. 3D 生成大模型前沿算法研发:研发 3D 生成大模型的前沿算法,探索 3D 生成能力的上限;理解 3D 数据在高模、拓扑、材质、动画等不同特征层面的表达,针对性设计数据表征形式与模型网络架构;基于 3D 资产质量要求,持续迭代算法框架、训练策略与数据标准; 2. 多模态条件控制研究:根据资产制作实际场景,设计模型的条件控制方式,实现高精度、高可控的生成;研究如何将图像、文本、3D等多种模态信息作为条件输入模型;开发创新的条件注入与控制技术; 3. 模型调优与工程化:对前沿 3D 生成模型进行改造与优化,以适应具体业务需求;基于自研模型进行局部模块微调、LoRA 调优等实验,将自定义 Conditioning 方法集成进生产模型; 4. 技术调研与数据基建:持续跟进三维生成大模型领域的前沿算法,评估并落地可行的技术方案;理解常规图形学3D数据的相关算法,根据生成模型的算法理论,与数据团队配合,设计3D数据的处理标准和方式,如watertight、SDF\ISO-surface、LOD、PBR、LBS等。
1、支撑团队不同大模型任务下的训练及推理优化,包括但不限于:架构设计、检查点优化、训练容错恢复、底层算子优化及通信优化等; 2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件,提升整体硬件利用效率; 3、针对具体任务调研并进行对应的 Scale Up 实验及优化,包括但不限于并行化策略优化、ZeRO/FSDP 优化、FP8、激活值优化等,加速模型训练,优化显存开销。
1. 参与研究最前沿的AIGC技术,探索其在游戏研发管线中的应用,把技术转化为优化游戏生产和升级玩家体验的实际解决方案。 2. 基于高质量数据集,参与图像编辑、图像生成后训练、贴图生成、视频生成等相关研发,优化游戏美术生产流程的品质表现和生产效率。 3. 参与VLM多模态算法研发,包括图像/视频/3D内容理解与质量评价的多模态模型训练与优化,提高AIGC Agent的基座模型能力,探索AI在数据管理、资产验收和游戏测试中的实际应用。 4. 参与音频驱动动作生成、动作补间、视频动捕等模型的训练,探索AI在游戏演出中的生产应用。 5. 参与AIGC Agent和游戏生产工具研发,将模型能力接入实际工作流程,帮助美术、TA、程序、策划等团队更高效地完成内容制作、检查和迭代。