小红书AI推理工程实习生
任职要求
- 优秀的代码能力，扎实的数据结构和基础算法功底； - 熟悉至少一种主流的机器学习框架（Tenso…
工作职责
1. 参与对深度学习模型进行模型剪枝、蒸馏、量化等相关压缩技术的研究与落地； 2. 参与研发深度学习模型推理服务框架，实现推理服务高吞吐、低延迟、高可用； 3. 参与不同NPU/GPU上高性能训练/推理算子研发，实现训练/推理计算加速。
核心职责 参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型推理系统； 探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益； 探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统； 参与MaaS系统的国产卡适配，如华为910C、阿里PPU等； 参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长。
1、建设小红书推荐、搜索和电商领域算法团队相关的算法工程能力 2、支持大规模算法服务的设计、开发和编排调度，满足在线审核、内容理解等业务需求 3、支持基于LLM的AI能力在小红书问答、客服等多个场景落地
1. 负责AI推理框架的调研、分析和测试，输出方案选型报告 2. 负责视觉、音频、影像等AI模型在推理框架上的部署 3. 负责AI推理框架中各个算子性能/兼容性等问题并解决
-参与 Prompt 设计、迭代与评估，研究上下文管理策略（长文本压缩、记忆机制、RAG 等），提升模型输出质量 -将 Prompt 工程成果工程化，建立可复用模块和测试评估体系 -参与训练/推理数据的采集、清洗、标注流水线建设，保障数据质量 -协助设计和优化模型训练架构，包括分布式训练、混合精度、显存优化等 -参与模型微调实验（SFT、RLHF、LoRA 等），分析训练过程并沉淀工程实践 -跟踪业界前沿进展，评估 Chain-of-Thought、Function Calling、多模态等技术的引入价值