小红书大模型压缩算法工程师(实习)
任职要求
任职资格: 1、熟悉蒸馏、剪枝、量化等模型压缩常用方案; 2、熟悉至少一种主流的大模型训练或推理框架(PyTorch / Megatron / vLLM / SGLang等)的原理和实现; 3、熟练使用Python/C…
工作职责
工作职责: 1、探索研发针对大语言模型、多模态大模型、MoE模型、StableDiffusion等模型的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责小红书业务场景中的模型压缩技术的实现和优化,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效; 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件,制定不同的模型压缩方案并在业务落地;
1、探索研发针对大语言模型、多模态大模型、MoE模型、StableDiffusion模型等模型的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责多个业务场景中的模型压缩技术实现,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效; 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件,制定不同的模型压缩方案并在业务落地;
1、参与小红书万亿级Token量推理系统构建,包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向,共同打造国内领先的大模型推理系统; 2、探索负载感知的推理系统流量调度算法,如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等,持续提升MaaS系统的稳定性、成本效益; 3、探索并跟进业界开源SOTA模型,如Qwen系列、DeepSeek系列,多维度评估模型效果并建立相关的准入体系,及时上架到MaaS系统; 4、参与MaaS系统的国产卡适配,如华为910C、阿里PPU等; 5、参与攻克大规模分布式推理系统带来的复杂挑战,通过弹性调度、容量规划、链路压测等手段提升系统健壮性,确保平台能够弹性扩展,支撑业务的飞速增长。
1、为实现类 Sora 模型实时化无损生成研究可行方案, 包括但不限于 步数蒸馏, efficiency-attention 计算, cache-reuse 策略, QAT训练等; 2、为 LLM/MLLM 的高效推理探索前沿解决方案, 包括但不限于 efficiency architecture, sparse attention, fp8/4-tuning, data/model distillation, speculative decoding等; 3、在指导下参与视频生成大模型/多模态大模型的全链路探索。