小米顶尖应届-端侧大模型高性能推理研究工程师-小爱
任职要求
1. 计算机、人工智能、机器学习、电子信息、自动化、应用数学等相关方向硕士、博士学历，在NLP、CV、大模型方向有很好的理解； 2. 熟练掌握PyTorch、TensorFlow等至少一种常用深度学习框架； 3. 熟练掌握python、C++等至少一门编程语言，优秀的算法代码开发能力； 4. 具有良好的分析问题和解决问题的能力，在深度学习相关顶级会议或者刊物发表论文者优先，博士优先。
工作职责
1.【低内存、低带宽】大模型低比特（1-3bit）量化创新算法； 2.【低内存、低带宽】端侧推理MoE或大参数量模型，解决占用大内存问题； 3.【高性能】端侧大模型高性能推理研究（比如：创新投机推理、硬件融合高性能计算、创新算法解决端侧prefill阶段的compute bound）。 【课题名称】 端侧大模型高性能推理计算 【课题内容】 研究大模型如何在端侧设备上（高通和自研F3芯片的算力、内存、带宽资源都严格约束，即使自研外挂的BW芯片也有内存强约束）进行高性能推理计算，同时保证模型算法效果满足业务需求、资源占用满足系统要求，有效解决云端大模型突出的隐私、成本问题。
1、创新应用和模型结构分析和建模：对新MoE模型，Transformer优化模型，非Transformer模型，语音模型，视觉模型进行计算特征，访存特征，通信特征分析建模； 2、推理系统优化技术：基于应用特征，自顶向下分析推理软件栈可优化手段，从推理调度，KV Cache管理，推理引擎，算子，并行切进行协同优化； 3、模型压缩：探索低精度损失的低比特量化（如INT4/INT2量化）或稀疏化等算法，缓解大模型推理计算与内存开销； 4、长序列优化：通过序列压缩、序列并行等算法，在有限的部署资源上（如单机）实现1M甚至10M长序列高效推理； 5、提供高性能轻量级AI推理引擎：分析当前CPU执行AI推理的性能瓶颈，通过先进AI算法技术（比如Sparsicity等）和编译优化技术（auto-tiling等)，结合BW芯片众核、大带宽、高矢量的架构特征，挑战性能天花板，推动AI4Compiler技术切实落地。 【课题名称】 大模型负载分析和推理系统优化。 【课题内容】 结合端侧设备的功耗、面积和实时性限制，探索自动优化方法研究，沉淀算子、模型及应用级优化方法，识别加速最优解决方案，并能够实施自动化化优化技术研究&应用。实现计算过程中的高效协同，发挥各类计算单元的有效算力；在算力墙、内存墙、通信墙等各维度平衡取舍发挥系统综合最优性能。
1.负责大模型在内的各类算法的移动端部署与优化； 2.负责移动端深度学习框架开发及算子优化； 3.不断挖掘移动芯片算力潜能，改良模型结构，实现业界领先的算法执行效能； 4.撰写相关论文，专利。 【课题名称】 端侧大模型效能优化 【课题内容】 解决大模型落地涉及的性能功耗内存限制，实现最高效的大模型推理方案。
将围绕多模态（文本、图像、音频、视频）理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究，具体研究内容包括： 1. 多模态（文本、图像、音频、视频）数据的收集、合成及数据策略，提升质量、多样性、可扩展性； 2. 探索多模态理解与生成统一的建模方式； 3. 多模态模型的模型结构的设计与优化，高效的大规模分布式训练和推理系统（云侧和端侧）； 4. 研究多模态模型的深度推理范式。 【课题名称】 多模态生成与理解统一模型 【课题内容】 突破多模态统一建模方式的技术瓶颈，训练理解与生成统一的多模态基座大模型，实现高效训练与推理系统。
将围绕多模态（文本、图像、音频、视频）理解和生成统一的基座大模型的数据、模型结构、统一建模方式、训练与推理优化、深度推理等核心问题展开研究，具体研究内容包括： 1. 多模态（文本、图像、音频、视频）数据的收集、合成及数据策略，提升质量、多样性、可扩展性； 2. 探索多模态理解与生成统一的建模方式； 3. 多模态模型的模型结构的设计与优化，高效的大规模分布式训练和推理系统（云侧和端侧）； 4. 研究多模态模型的深度推理范式。 【课题名称】 多模态生成与理解统一模型 【课题内容】 突破多模态统一建模方式的技术瓶颈，训练理解与生成统一的多模态基座大模型，实现高效训练与推理系统。