小米大模型推理引擎实习生
任职要求
1. 本科及以上学历，计算机/电子/信息/通信/自动化/软件等相关专业 2. 掌握Python、C、C++等编程语言，精通数据结构算法，具备优秀的编程习惯 3. 了解CNN、LLM、Transformer、ViT等算法原理 4. 熟悉常见深度学习或LL…
工作职责
1. 负责大模型算法在手机、平板等移动设备平台部署，打造业界领先的全平台推理引擎 2. 分析性能瓶颈，提出系统性优化方案，将算法落地到汽车、手机、小爱等集团业务线 3. 设计先进的推理引擎架构，极致优化高性能算子与推理流水线 4. 了解移动端硬件特性，分析推理性能瓶颈，提出系统性解决方案 5. 充分挖掘硬件平台异构算力，优化资源占用 6. 负责AI项目交付、算法库开发、升级优化、技术文档撰写等工作
本课题研究如何优化向量检索技术以增强大型语言模型能力。 主要方向包括： 1、优化高维向量索引结构，实现千亿级多模态数据的高效检索； 2、设计多Agent场景下的智能检索增强生成(Agentic RAG)策略，探索检索结果与大模型上下文的最优融合方法； 3、研究基于向量检索优化大模型推理过程中的KV Cache机制，为智能体应用的效果优化和大模型推理提供关键技术支持。
模型压缩方向： 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效。 推理框架方向： 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向： 1、负责调度公司所有模型训练与推理资源； 2、基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。
核心职责： 参与AI平台大模型推理部署等流程及工具的研发建设，完善平台现有功能。 参与AI平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能。 参与AI平台联邦调度能力的设计和开发，与下游云原生团队共同实现平台联邦和弹性部署能力。
1、GPU集群效能优化：参与面向大模型训练&推理场景万卡规模GPU集群效能优化，包括但不限于集群调度、在离线混部、GPU虚拟化、故障快速恢复、存储&网络加速，提升大规模GPU集群的整体吞吐与资源利用率 2、LLMOps建设优化：参与大模型训练&推理引擎与下游云原生平台深度融合，构建面向大模型训练、微调、推理、部署全流程LLMOps，支撑大模型在公司内生产链路稳定、高效落地