小米大模型推理工程师实习生
任职要求
1、计算机、数学相关专业本科及以上学历； 2、熟练掌握C++/Python等编程语言，在模型训练和推理方面有丰富的编程和优化经验； 3、熟悉常见的机器学习/推理框架，如P…
工作职责
1、大模型推理优化和计算框架的设计和开发工作，提升大模型推理效率； 2、通过量化、并行计算、访存优化等方法，支持单卡、多卡、多机情况下模型推理时延和吞吐效率的提升； 3、进行模型性能分析和调优，识别和解决瓶颈问题，提升模型的推理速度； 4、实施并维护自动化工具和流程，简化模型推理部署过程； 5、跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队技术发展。
核心职责 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型推理系统； 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 参与MaaS系统的国产卡适配，如华为910C、阿里PPU等； 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
核心职责 参与小红书大模型平台推理部署等流程及工具的研发建设，完善平台现有功能 参与平台Quota管理模块的开发，实现多机房、多集群环境下的，各种异构计算资源的配额管理功能 参与平台大模型训练/压缩/推理/数据集/资源调度等流程及工具的研发建设
1. 跟进多模态大模型（vLLM）预训练、SFT、RLHF等技术，调研与跟进最新进展；负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型，多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速； 2. 多模态大模型个性化预训练：研发个性化预训练模型，探索在训练样本、模型参数量等维度上scale-up能带来的收益，研究在电商搜索场景下, CTR和CVR 模型中用户动线特征的挖掘和应用，包括用户行为模型的获取、特征设计、结构优化等个性化建模； 3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，包括但不限于量化、剪枝和蒸馏，以及数据特征和调度优化；实现和优化多模态大模型推理框架，以提高推理速度和效率；与工程团队合作，解决机器学习模型在部署过程中的性能问题； 4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用到体验实验评测、体验监控、离线数据标注、线上相关性判断等方向； 5.多模态大模型稀疏检索和稠密模型：研究方向包括不限于：电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
1. 深入调研多模态大模型、计算机视觉、大模型推理以及强化学习等方向的前沿技术，并结合产品对算法进行优化，使相关产品效果达到业界领先水平； 2. 将多模态大模型落地到小米各个产品，结合产品需求，参与算法的设计、开发、验证、集成、优化和维护，解决算法产品化过程中的各种技术问题，确保达到上线要求； 3. 参与相关领域学术研究，产出具有业界行业影响力的科研成果；