小米大模型推理工程师实习生
任职要求
1、计算机、数学相关专业本科及以上学历； 2、熟练掌握C++/Python等编程语言，在模型训练和推理方面有丰富的编程和优化经验； 3、熟悉常见的机器学习/推理框架，如Pytorch、HF、vLLM、SGLang等。 4、具有大模型推理优化或深度学习推理优化经验者优先，参与推理框架社区者优先； 5、具备时新学术论文阅读以及实验能力者优先；
工作职责
1、大模型推理优化和计算框架的设计和开发工作，提升大模型推理效率； 2、通过量化、并行计算、访存优化等方法，支持单卡、多卡、多机情况下模型推理时延和吞吐效率的提升； 3、进行模型性能分析和调优，识别和解决瓶颈问题，提升模型的推理速度； 4、实施并维护自动化工具和流程，简化模型推理部署过程； 5、跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队技术发展。
1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1. 深入调研多模态大模型、计算机视觉、大模型推理以及强化学习等方向的前沿技术，并结合产品对算法进行优化，使相关产品效果达到业界领先水平； 2. 将多模态大模型落地到小米各个产品，结合产品需求，参与算法的设计、开发、验证、集成、优化和维护，解决算法产品化过程中的各种技术问题，确保达到上线要求； 3. 参与相关领域学术研究，产出具有业界行业影响力的科研成果；
1. 深入调研多模态大模型、计算机视觉、大模型推理以及强化学习等方向的前沿技术，并结合产品对算法进行优化，使相关产品效果达到业界领先水平； 2. 将多模态大模型落地到小米各个产品，结合产品需求，参与算法的设计、开发、验证、集成、优化和维护，解决算法产品化过程中的各种技术问题，确保达到上线要求； 3. 参与相关领域学术研究，产出具有业界行业影响力的科研成果；
1. 深入调研多模态大模型、计算机视觉、大模型推理以及强化学习等方向的前沿技术，并结合产品对算法进行优化，使相关产品效果达到业界领先水平； 2. 将多模态大模型落地到小米各个产品，结合产品需求，参与算法的设计、开发、验证、集成、优化和维护，解决算法产品化过程中的各种技术问题，确保达到上线要求； 3. 参与相关领域学术研究，产出具有业界行业影响力的科研成果；