小米顶尖应届-生成式搜推大模型算法工程师-小爱
任职要求
1. 计算机、人工智能、机器学习、电子信息、自动化、应用数学等相关方向硕士、博士学历,在NLP、CV、大模型方向有很好的理解; 2. 熟练掌握PyTorch、TensorFlow等至少一种常用…
工作职责
1. 设计构建针推荐问题的大模型生成式架构,评价方法、数据集和指标; 2. 使用预训练,监督微调和强化学习等方法,提升模型在评测数据和线上指标的效果; 3. 使用多模态编码,prompt压缩等方法提升大模型预测的性能指标,降低成本。 【课题名称】 生成式大模型在推荐领域的应用研究 【课题内容】 该课题旨在实现一个以大模型为基础,基于对用户所处环境,设备信息和行为历史的理解,为用户推荐音乐、视频等内容以及个性化的IoT操作建议等。区别于传统的推荐算法使用级联式设计,该课题希望通过大模型实现生成式、端到端的推荐系统,使用包括预训练,监督微调和强化学习的方法,提升预测准确率,并降低预测成本。
1. 研发下一代AI驱动的软件工程范式 - 构建面向移动端及嵌入式OS的智能编程系统,探索LLM在代码生成、架构设计、静态分析及测试用例生成等全流程的自治能力; - 研发智能编程辅助系统,实现需求文档→技术方案→代码实现→测试验证的端到端闭环开发。 2. 构建软件工程Agent体系架构 - 设计具有记忆、规划与工具调用能力的多智能体框架,实现复杂功能开发的自主决策与执行; - 开发基于强化学习的Agent协作机制,优化代码质量、构建成功率等核心指标。 3. 研发超大规模代码检索增强生成系统 - 设计高效的多粒度代码索引结构与语义检索框架,实现亿级代码片段的高精准召回与排序; - 研发代码知识库与LLM深度融合的混合检索技术,提升复杂项目上下文理解与跨文件依赖分析能力。 4. 微调和评估软件工程领域专用模型 - 针对IDE补全、对话等场景微调专用小参数大模型,提升代码生成率; - 评估大模型在特定软件工程领域的能力,针对具体研发场景选择适合的模型。 5. 前沿技术探索与专利布局 - 跟踪代码大模型、程序分析、AI软件工程等领域国际顶会(ICSE/PLDI/NeurIPS等)最新进展; - 主导技术创新点的专利撰写与学术论文产出。 【课题名称】 AI智能软件开发系统研究 【课题内容】 构建下一代AI驱动的智能软件开发系统 1. 面向移动端OS的智能编程系统; 2. 构建软件工程Agent系统; 3. 研发超大规模代码检索增强生成系统。
1. 研究VLM/VLA大模型的跨模态表示机制,构建适用于驾驶语境的latent policy head; 2. 探索视觉语言到行为(VL2A)的联合预训练方法,设计引导式数据生成与指令微调机制; 3. 构建视觉语言行为多模态数据集,支持高质量对齐(如视觉意图对话、轨迹文字描述); 4. 探索embedding space中的行为压缩、潜变量建模、语言驱动的轨迹解码与规划决策。 【课题名称】 多模态大模型(VLM/VLA) 【课题内容】 构建以视觉-语言-行为(VLA)联合建模为核心的大模型体系。基础模型采用大规模预训练视觉语言模型(VLM,如LLaVA、InternVL、GPT4V),通过Latent Action Modeling构建统一的感知-认知-决策抽象表示。研究如何以自然语言+视觉输入预测潜在行为意图与策略,通过领域微调(domain adaptation)与RLHF-style强化引导,打造真正具备泛化与交互理解能力的通用智能Agent。
1. 设计适用于自动驾驶任务的Diffusion-based行为生成模型,涵盖轨迹预测、控制输出、长时规规划; 2. 研究基于图像和高维环境语义输入的扩散过程,支持条件生成与多模态控制分布建模; 3. 推动该方向模型从仿真到实车的部署,包括实时性优化、鲁棒性评估与反馈机制构建。 【课题名称】 Diffusion-based Nueral Planner 【课题内容】 探索扩散生成模型在端到端自动驾驶规划中的泛化能力和多模态决策潜力。以感知输入(图像、BEV等)直接生成控制信号(steering, acceleration),或隐式轨迹规划中间表示,构建具备不确定性建模、多样性采样和高分辨率行为预测能力的决策系统。参考如DiffPlan、MotionDiffuser、Wayformer+Diffusion等工作,推动视觉到控制的生成式范式演进。
1. 研究VLM/VLA大模型的跨模态表示机制,构建适用于驾驶语境的latent policy head; 2. 探索视觉语言到行为(VL2A)的联合预训练方法,设计引导式数据生成与指令微调机制; 3. 构建视觉语言行为多模态数据集,支持高质量对齐(如视觉意图对话、轨迹文字描述); 4. 探索embedding space中的行为压缩、潜变量建模、语言驱动的轨迹解码与规划决策。 【课题名称】 多模态大模型(VLM/VLA) 【课题内容】 构建以视觉-语言-行为(VLA)联合建模为核心的大模型体系。基础模型采用大规模预训练视觉语言模型(VLM,如LLaVA、InternVL、GPT4V),通过Latent Action Modeling构建统一的感知-认知-决策抽象表示。研究如何以自然语言+视觉输入预测潜在行为意图与策略,通过领域微调(domain adaptation)与RLHF-style强化引导,打造真正具备泛化与交互理解能力的通用智能Agent。