小红书【REDstar】Hi Lab-大模型轻量化算法工程师
任职要求
1、本科及以上学历，计算机等相关专业方向优先；
2、拥有上述一个或多个方向的实际落地经验，能独立从头到尾完成上述某个方向；
2、熟练使用主流大规模训练或…工作职责
1、量化方向：负责但不限于大语言模型的低精度训练(FP8)、推理（W8A8KV8等）、低精度优化器（量化梯度、优化器状态、参数等）； 2、高性能模型结构：大语言模型Finetune或者其他阶段的LoRA系列（熟悉各种变种），训练阶段的MQA/GQA系列等； 3、稀疏化方向：大语言模型剪枝、稀疏、蒸馏、Sparse Attention等； 4、新型方向：Medusa、超长文本、Speculative Sampling等。
1、负责小红书搜广推多场景召回与排序模型优化，提升时长、互动、留存等核心指标； 2、核心技术方向包括：LLM应用于推荐系统，基于搜广推全域信号打通的图神经网络预训练模型，深度进化学习应用于全系统参数自动搜索，多模态在召回/排序等模块的应用等技术方向；在小红书独特的双列社区产品形态下，探索最适合社区产品的种草拔草全链路建模范式； 3、业务落地场景包括：双列推荐/展示/搜索/电商广告的模型，用户/资源冷启动，重排和多资源混排场景等。
1、基于小红书海量的用户行为数据，建立并优化广告系统的算法和机制，优化面向行业广告主的算法策略，包括用户理解、行业深度优化、行业投放策略等； 2、对业界前沿技术保持敏感，结合业务特点，探索将前沿的算法技术应用于实际业务，实现技术落地。
1、负责小红书App社区（主站）的推荐、搜索、交易、增长、直播等业务场景的技术探索，能够从复杂的业务环境中抽象出清晰具体的技术问题，并将大模型、机器学习等技术有效应用于小红书App社区建设上，与各部门（包括并不限于产品，基础技术等）的同事一起深入交流合作，共同迭代和优化社区产品，提升亿级用户体验，Inspire Life； 2、构建小红书App社区（主站）的内容、用户之间的生产、关系、分发、消费机制，利用Query理解、多模态内容理解、相关性/召回/排序算法、深度学习、因果推断、迁移学习、跨域表征、多任务学习、图网络、运筹学、博弈机制等技术，持续建设图文&视频内容的大规模推荐/搜索/交易/知识生产等系统，通过策略和模型优化不断提升实现SOTA效果。
模型压缩方向： 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效。 推理框架方向： 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，打造高效、易用、领先的AI推理框架。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向： 1、负责调度公司所有模型训练与推理资源； 2、基于自建的训推引擎，构建公司统一的机器学习平台，为公司所有算法同学（稀疏 & 稠密，含 LLM） 模型迭代提供端到端的一站式服务；包括 数据生产，模型训练，模型上线，特征管理，模型测试，资源管控等一系列能力。