小红书AI平台推理引擎研发工程师

团队介绍 团队长期深耕AI算法研发、AI基础架构建设、AI服务应用打造，负责从AI算法研发、性能优化加速、工程服务化与云端部署、服务调度与资源优化、到服务管理与运维在内的完整AI落地运用流程，覆盖线上数据到模型训练、训练模型到线上服务的闭环。近期重点聚焦AIGC在公司内容团队和产研团队的使用，通过大模型的能力，持续推动爱奇艺在内容创作、生产、分发、以及用户体验上的创新、优质、高效、自动化与智能化。欢迎愿意长期深耕AI领域的同学加入我们！ 工作职责 - 参与AI工程服务化工作，将算法团队研发的AI能力初始原型进行服务化，落地成为业务团队线上稳定可用的AI应用 - 参与大模型训练平台、推理平台建设，包括但不限于分布式训练框架调优、推理引擎优化、模型量化及加速等 - 参与AI基础设施建设，包括计算资源管理、网络架构设计、存储系统优化等，提升资源利用率，降低大模型研发与应用成本 - AI领域最新进展的技术调研、引入改造、原型设计与开发等

1.负责LLM大语言模型的推理优化； 2.负责机器学习引擎的编译优化工作； 3.负责模型稀疏化和模型量化工作。

1.围绕大模型异构训练集群，尤其是非NV GPU大规模异构硬件集群，面向大模型预训练、Finetune等场景进行新模型使能，系统分析/优化，业务支撑等工作，包括分布式优化框架，AI框架，网络集合通信，算子等方面内容； 2.负责大模型推理引擎的研发和优化，包括推理系统优化、模型量化压缩和模型部署； 3. 熟悉NLP类模型训练场景，有GPT，LlaMa、DeepSeek等相关知识和经验者优先 4. 熟悉视觉类，多模态大模型训练场景，有ViT， Swin Transformer, Stable Diffusion, MoE相关知识和经验者优先 5. 熟悉Megatron, Deepspeed, Colossal AI, FSDP等分布式框架，有相关知识、使用和调优经验者优先 6. 熟悉以下推理框架者优先，如FasterTransformer、vllm、sglang、LMDeploy、TensorRT-LLM等； 7. 熟悉PyTorch分布式场景，有二次开发经验，系统调优知识和经验者优先 8. 熟悉集合通信原理和基本知识，对NCCL有大规模使用，调优经验者优先 9. 熟悉算子开发流程，有CUDA编程知识和相关经验者优先 10. 熟悉NV GPU架构，对其他类型AI芯片有使用经验者优先

1.研究AI模型推理加速技术在微信业务中的应用，参与TFCC服务平台和推理引擎的研发与优化，提升推荐模型、大模型、传统中小模型等业务场景的推理性能； 2.负责微信后台AI算法的工程应用与优化，支持语音识别、语音合成、视觉理解、大语言模型等业务的后台工程开发与优化； 3.跟进AI领域的最新动态，优化内部技术方案，提升平台性能，推进AI架构升级。