通义研究型实习生-几何图形识别和推理技术研究
任职要求
1.计算机视觉、自然语言处理、人工智能等专业优秀在读硕士或博士； 2.熟练掌握tensorflow、pytorch等至少一种主流深度学习框架，有复杂模型设计和建模经验； 3…
工作职责
几何图形推理是多模态大模型领域的重要研究课题。随着深度学习技术的发展，尤其是多模态大模型的崛起，其在语义理解、图像分析和跨模态任务中的应用引起了广泛关注。几何推理涉及图形的识别、分类、分析和推导，是理解空间关系和逻辑关系的重要手段。在教育、机器人和自动驾驶等领域，掌握几何推理能力的智能系统具有重要的应用价值。 追踪多模态、图像处理、自然语言处理、图像视频生成、OCR&多模态文档分析理解等前沿技术，在一个或多个方向进行深入研究，发表高水平论文或期刊； 联合学习图像与文本模态，对图形进行细粒度的grounding、parsing和comprehension，以实现模型对平面或立体图形的理解； 利用强化学习进行几何关系推理，探索适合几何图形和空间图形推理的强化学习算法； 构建大规模的几何图形识别、解析和推理数据集，以训练和评估大模型对图形的理解和推理能力。
1、负责神经渲染建模相关技术研究，包括模型表示、模型压缩、模型编辑、模型质量优化、模型仿真等等方面； 2、负责神经渲染建模相关图象图形技术研究，包括图像检测、分割、超分，位姿估计，Mesh模型优化等等； 3、负责扫描建模相关技术研究，包括可微分几何建模、可微分纹理生成、基于深度先验的建模算法等等； 4、负责神经渲染建模的渲染相关研究，包括重光照技术、神经渲染的材质表示、透明反光材质渲染等等； 5、负责结合生成技术做3D物体模型、3D场景模型的生成，保障生成模型的高效果、可控性等等。
本项目将探索基于单张图像或稀疏视角图像构建高保真，可交互的3D高斯（3D Gaussian Splatting）数字人，支持大角度相机视角切换与大幅度身体姿态变化，保持几何一致性与渲染稳定性。所生成的3D高斯数字人支持多模态实时驱动，实现自然流畅的面部表情和肢体驱动，打造低延迟、高真实感的沉浸式交互体验，为虚拟主播、远程会议、教育陪练、情感陪伴等高价值应用场景提供技术支撑。
【业务介绍】 作为公司统一的机器学习平台团队，负责调度公司所有模型训练与推理资源；基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。 【岗位职责】 1、负责机器学习链路，离在线数据相关的开发工作，包括样本数据、特征数据等的数据链路搭建、任务运维和调优、性能优化等 2、负责小红书大规模机器学习平台的后台系统设计和开发工作；包括样本平台，特征平台，训练平台，推理平台等AI应用后台建设等； 3、研究分析业内AI平台产品，优化技术方案，改进产品功能，完善产品体验。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。