小米顶尖应届-端到端感知算法工程师-自动驾驶

1. 研究VLM/VLA大模型的跨模态表示机制，构建适用于驾驶语境的latent policy head； 2. 探索视觉语言到行为（VL2A）的联合预训练方法，设计引导式数据生成与指令微调机制； 3. 构建视觉语言行为多模态数据集，支持高质量对齐（如视觉意图对话、轨迹文字描述）； 4. 探索embedding space中的行为压缩、潜变量建模、语言驱动的轨迹解码与规划决策。 【课题名称】 多模态大模型（VLM/VLA） 【课题内容】 构建以视觉-语言-行为（VLA）联合建模为核心的大模型体系。基础模型采用大规模预训练视觉语言模型（VLM，如LLaVA、InternVL、GPT4V），通过Latent Action Modeling构建统一的感知-认知-决策抽象表示。研究如何以自然语言+视觉输入预测潜在行为意图与策略，通过领域微调（domain adaptation）与RLHF-style强化引导，打造真正具备泛化与交互理解能力的通用智能Agent。

1. 设计适用于自动驾驶任务的Diffusion-based行为生成模型，涵盖轨迹预测、控制输出、长时规规划； 2. 研究基于图像和高维环境语义输入的扩散过程，支持条件生成与多模态控制分布建模； 3. 推动该方向模型从仿真到实车的部署，包括实时性优化、鲁棒性评估与反馈机制构建。 【课题名称】 Diffusion-based Nueral Planner 【课题内容】 探索扩散生成模型在端到端自动驾驶规划中的泛化能力和多模态决策潜力。以感知输入（图像、BEV等）直接生成控制信号（steering, acceleration），或隐式轨迹规划中间表示，构建具备不确定性建模、多样性采样和高分辨率行为预测能力的决策系统。参考如DiffPlan、MotionDiffuser、Wayformer+Diffusion等工作，推动视觉到控制的生成式范式演进。

1. 研究VLM/VLA大模型的跨模态表示机制，构建适用于驾驶语境的latent policy head； 2. 探索视觉语言到行为（VL2A）的联合预训练方法，设计引导式数据生成与指令微调机制； 3. 构建视觉语言行为多模态数据集，支持高质量对齐（如视觉意图对话、轨迹文字描述）； 4. 探索embedding space中的行为压缩、潜变量建模、语言驱动的轨迹解码与规划决策。 【课题名称】 多模态大模型（VLM/VLA） 【课题内容】 构建以视觉-语言-行为（VLA）联合建模为核心的大模型体系。基础模型采用大规模预训练视觉语言模型（VLM，如LLaVA、InternVL、GPT4V），通过Latent Action Modeling构建统一的感知-认知-决策抽象表示。研究如何以自然语言+视觉输入预测潜在行为意图与策略，通过领域微调（domain adaptation）与RLHF-style强化引导，打造真正具备泛化与交互理解能力的通用智能Agent。

1. 设计适用于自动驾驶任务的Diffusion-based行为生成模型，涵盖轨迹预测、控制输出、长时规规划； 2. 研究基于图像和高维环境语义输入的扩散过程，支持条件生成与多模态控制分布建模； 3. 推动该方向模型从仿真到实车的部署，包括实时性优化、鲁棒性评估与反馈机制构建。 【课题名称】 Diffusion-based Nueral Planner 【课题内容】 探索扩散生成模型在端到端自动驾驶规划中的泛化能力和多模态决策潜力。以感知输入（图像、BEV等）直接生成控制信号（steering, acceleration），或隐式轨迹规划中间表示，构建具备不确定性建模、多样性采样和高分辨率行为预测能力的决策系统。参考如DiffPlan、MotionDiffuser、Wayformer+Diffusion等工作，推动视觉到控制的生成式范式演进。