小米顶尖应届-多模态基座模型算法工程师-大模型

将围绕多模态（文本、图像、音频、视频）理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究，具体研究内容包括： 1. 多模态（文本、图像、音频、视频）数据的收集、合成及数据策略，提升质量、多样性、可扩展性； 2. 探索多模态理解与生成统一的建模方式； 3. 多模态模型的模型结构的设计与优化，高效的大规模分布式训练和推理系统（云侧和端侧）； 4. 研究多模态模型的深度推理范式。 【课题名称】 多模态生成与理解统一模型 【课题内容】 突破多模态统一建模方式的技术瓶颈，训练理解与生成统一的多模态基座大模型，实现高效训练与推理系统。

1. 多模态感知融合：结合用户的语音、表情、手势姿态、眼动，以及汽车各种传感器状态，实现对模态输入的编码与解码； 2. 利用在线强化学习实现端云结合的大模型基座更新； 3. 基于大模型的生成能力，构建用户反馈行为序列； 4. 构造大模型在线主客观评估体系。 【课题名称】 基于大模型的意图监测 【课题内容】 通过在线强化学习（RL）、多模态感知理解生成技术，实现对用户意图的精准识别和响应。

1. 负责AGI前沿方向体系化调研； 2. 负责世界基座模型的预训练工作； 3. 专利/论文撰写，形成行业影响力； 4. 联合量产团队完成研发落地闭环。 【课题名称】 智驾基座模型预训练 【课题内容】 以实现物理世界AGI技术栈，提升车辆智能度和安全性为目标，进行智驾基座模型的预训练，支撑下一代E2E方案研发，包含规控SFT/RFT等。

1. 负责AGI前沿方向体系化调研； 2. 负责世界基座模型的预训练工作； 3. 专利/论文撰写，形成行业影响力； 4. 联合量产团队完成研发落地闭环。 【课题名称】 智驾基座模型预训练 【课题内容】 以实现物理世界AGI技术栈，提升车辆智能度和安全性为目标，进行智驾基座模型的预训练，支撑下一代E2E方案研发，包含规控SFT/RFT等。