
Momenta云端模型性能优化工程师
任职要求
1. 熟练使用 C++/Python,操作系统原理,计算机基础知识掌握扎实 2. 熟悉计算机体系结构,对 GPU、CPU、NPU 等计算加速单元有一定的理解,有 CUDA、Neon、trition 等…
工作职责
1. 负责将深度学习模型(如 CNN、Transformer 等)高效部署到车端或云端集群,优化推理时延、内存占用及功耗 2. 实现车端模型包括大模型的量化(INT8/fp8),结合 TensorRT、torch 等框架完成端到端性能调优 3. 开发或优化高性能算子,利用 CUDA、OpenCL、NEON 指令集或硬件加速库(cuDNN、OneDNN)实现极致性能
1. 持续优化L4无人车所面临的公开道路 + 站内配送场景的车端在线地图构建方案,包括但不限于:基于多模态BEV研发地图元素的矢量化、语义化和拓扑化;设计数据驱动的地图算法模型真值闭环,研发相应的VLM预标注和挖掘能力;车端部署和性能优化等。跟进国内外先进成果,结合业务场景,探索轻图/无图自动驾驶技术路径。 2. 落地并持续深耕云端众包地图方案,实现车云协同。针对无人车遇到的各类复杂场景,提出有效的车云联动方案,并持续解决规模化阶段的各类线上问题。
* 基于 Vision-Language Models (VLM) 和 Large Language Models (LLM),设计与实现自动驾驶中行为预测与运动规划的基座模型(Foundation Model) * 利用多模态预训练大模型进行轨迹生成与融合,提升基座模型对其他交通参与者意图的理解与预测能力 * 针对车端/云端部署,开展模型算法层面性能优化工作,例如压缩、剪枝、蒸馏、训练和推理加速等,确保模型可用性、系统实时性与资源利用率 * 与算法、软件和系统团队紧密协作,推动模型集成及在仿真与真实车载平台的落地
以下工作内容选择其中一项即可。 1. 多模态大模型研发(VLM),微调多模态理解大模型,提升模型理解能力。 2. 大语言模型研发(LLM),微调大语言模型,提升模型的意图理解、总结能力和RAG能力。 3. CLIP类模型研发,研发资源受限条件下的小尺寸多模态大模型,降低云端大模型推理成本,兜底用户体验。 4. 检索增强系统研发(RAG),负责RAG系统的方案设计、离线建库和在线索引等功能研发,满足大模型用户智能检索需求。 5. 生成大模型研发(AIGC),微调AIGC大模型,为多模态大模型合成训练数据,降低数据采集的预算成本和时间成本。 6. 计算机视觉算法研发,包括但不限于检测、关键点、识别、跟踪等深度学习算法,支撑多品类自研算法落地,提升全链路算法流程效果。 7. 鱼眼矫正和VR算法研发,建设门锁灯塔项目的端到端能力。 8. 模型量化算法和工具研发,改善芯片自带量化算法性能,建设模型统一量化平台。 9. 模型训练数据建设,建设数据获取、处理、分析、合成的能力,降低成本,提升效率。