小鹏汽车VLM/VLA 大模型算法工程师
社招全职地点:深圳状态:招聘
任职要求
- 计算机、人工智能、自动化等相关专业硕士及以上学历; - 具备扎实的深度学习基础,熟悉 Transformer、BERT、ViT、CLIP、BLIP 等主流视觉-语言模型架构; - 有大模型(VLM、LLM)训练/推理优化经验,熟悉其在多模态任务中的应用; - 有 VLA 建模、生成式模型(如diffusion)、多模态强化学习相关项目背景; - 熟练使用 PyTorch、TensorFlow 等深度学习框架…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
【关于机器人中心】小鹏机器人中心专注于构建面向未来的人形机器人系统,融合先进的人工智能(AI)、控制、机械与系统工程,打造能感知、理解、操作并能和现实世界进行交互的下一代机器人。 【关于团队】该部门承担前沿智能方法的预研工作,专注于实现机器人三大核心智能能力:自主移动(导航)、灵巧操作和人机交互。我们深入布局大语言模型(LLM)、多模态视觉语言模型(VLM)和视觉语言行动模型(VLA),实现全流程自研,推动机器人从感知到决策的全面智能化落地。团队成员遍布深圳、上海和美国硅谷,聚集了世界一流的科研与工程人才,致力于将大模型技术真正落地到复杂、动态的物理环境中。在这里,你将:与来自 AI、机器人硬件、控制等领域的优秀工程师合作;参与推动 LLM/VLM/VLA 与机器人智能体的融合;构建能够自主学习与进化的“具身智能体”。 - 负责多模态大模型(VLM: Vision-Language Model / VLA: Vision-Language-Action Model)在人形机器人中的算法设计与开发,将VLM/VLA 应用于人形机器人的智能操作与人机交互任务; - 参与大模型的预训练、后训练(SFT + RL)及部署工作,支持机器人在复杂环境下的感知与行为能力; - 与机器人平台团队、硬件团队紧密协作,实现模型在实际机器人系统中的高效运行; - 跟踪前沿研究,推动新技术在产品中的落地应用。
包括英文材料
学历+
深度学习+
https://d2l.ai/
Interactive deep learning book with code, math, and discussions.
Transformer+
https://huggingface.co/learn/llm-course/en/chapter1/4
Breaking down how Large Language Models work, visualizing how data flows through.
https://poloclub.github.io/transformer-explainer/
An interactive visualization tool showing you how transformer models work in large language models (LLM) like GPT.
https://www.youtube.com/watch?v=wjZofJX0v4M
Breaking down how Large Language Models work, visualizing how data flows through.
BERT+
https://www.youtube.com/watch?v=xI0HHN5XKDo
Understand the BERT Transformer in and out.
还有更多 •••
相关职位
社招A136734
1. 参与研发自动驾驶云端VLM/VLA大模型,服务于数据挖掘、数据标注、算法评测等业务需求; 2. 跟踪最新的自动驾驶、具身智能相关前沿技术,并进行技术调研和原型验证; 3. 撰写高水平专利/论文。
更新于 2024-10-10北京
校招
- 负责多模态大模型(VLM: Vision-Language Model / VLA: Vision-Language-Action Model)在人形机器人中的算法设计与开发,将VLM/VLA 应用于人形机器人的智能操作与人机交互任务; - 参与大模型的预训练、后训练(SFT + RL)及部署工作,支持机器人在复杂环境下的感知与行为能力; - 与机器人平台团队、硬件团队紧密协作,实现模型在实际机器人系统中的高效运行; - 跟踪前沿研究,推动新技术在产品中的落地应用。
更新于 2025-07-17深圳
校招
1. 结合最新 VLM/VLA 技术,设计自驾 VLM/VLA 云端大模型技术路线; 2. 针对高优场景及控车预测任务,设计模型训练迭代计划; 3. 交付满足评测指标的云端模型。 【课题名称】 云端 VLM/VLA 多模态大模型 【课题内容】 面向自驾场景理解及控车 Action预测任务,构建并优化云端 VLM/VLA 大模型,提升识别及预测准确率。
更新于 2025-06-26北京