小米多模态大模型算法工程师实习生—武汉
任职要求
1、硕士及以上学历,计算机、人工智能及机器学习等相关专业; 2、有自然语言处理、计算机视觉、视频理解等技术背景者优先; 3、有大模型预训练、指令微调或强化学习等项目经验者优先; 4、掌握机器学习和深度…
工作职责
1、深入调研多模态、计算机视觉和自然语言处理等方向的前沿技术 2、推进视觉信息语义分割与编码的研究,设计自监督学习任务,在大数据上训练较大参数规模模型; 3、探索视觉与语言的语义对齐方法,和多模态多任务联合训练
1、参与图像、视频生成相关领域研发工作,探索视觉生成领域前沿方向 2、参与图像生成与编辑、视频可控生成、多模态视觉生成、视觉生成领域强化学习等方向研究 3、分析和解决算法产品化过程中出现的效果、性能等问题 4、参与学术研究,产出影响行业的科研成果
1. 学术成果转化:将公司在多模态大模型、视觉理解、智能体等方向的技术积累整理为高质量学术论文(顶会/顶刊)及发明专利 2. 预研探索:跟踪前沿进展,在以下一个或多个方向开展预研工作: - 目标检测与视觉感知(2D/3D 检测、分割、跟踪) - 多模态视觉理解(VLM、图文推理、视觉问答) - 智能体规划与决策(Agent Planning、Tool Use、多步推理) 3. 原型验证:设计并实现算法原型,完成实验评估与技术报告撰写 4. 技术协作:与工程团队协同,推动预研成果在产品中的落地验证
该职位专注于自动驾驶场景下多模态大模型(VLA:Vision-Language-Action)的工程化落地,你将有机会在千万级数据上实车验证关于自动驾驶VLA的最新想法: 多模态模型工程化部署:结合视觉、语言与行为动作的联合建模机制,优化多模态模型的推理效率,支持自动驾驶系统的实时应用; 实车测试与性能验证:参与自动驾驶场景中的模型测试与性能评估,设计测试案例,分析模型在实际驾驶环境中的响应能力与行为决策效果; 数据采集与处理:负责多模态数据(视觉、语言、行为)的采集、标注与处理,构建高质量数据 pipeline,优化数据流的实时性与稳定性; 模型优化与轻量化:探索模型蒸馏、小样本泛化等技术,提升模型在自动驾驶复杂场景中的部署效率与资源利用率; 系统集成与技术支持:协助完成多模态模型与自动驾驶系统的集成测试,解决工程化落地过程中的技术问题; 技术文档与成果转化:撰写工程化技术文档,总结实车测试经验,参与技术报告、专利申请或产品转化工作。