优酷AI-Infra工程师
任职要求
1、擅长C++/Python/Golang其中的一种，熟悉Linux环境开发，具备扎实的数据结构与算法基础 2、了解分布式系统原理，熟悉PyTorch使用，了解自动微分、计算图优…
工作职责
1、参与AI训练与推理系统的定制和优化，基于计算-存储-通信协同设计，为算法和模型迭代提供优秀的分布式训练和推理解决方案 2、构建高性能计算集群，提供跨地域异构算力的管理，解决通信、存储、调度等系统级瓶颈 3、深入AI框架底层（如PyTorch、Megatron、vLLM等），改进分布式计算、自动并行、显存优化等核心模块 4、支持AI服务的规模化部署，参与加速优化，算力调度优化和稳定性保障工作，提供通用的模型加速，问题诊断，可观测性等解决方案 5、探索前沿技术方向，如编译优化、post-train训练、agent基础框架等，参与算法模型和工程技术的联合创新实践，解决AI落地业务应用过程中，新出现的效率、规模问题
1.结合HPC和AI前沿技术，设计和优化大模型训练和推理框架，负责模型优化、算子优化、图优化、分布式优化等，提升计算效率 2. 负责云侧或端侧大模型和小模型推理服务开发、性能优化、上线等工作
【部门介绍】引擎架构部是目前小红书AI Infra核心部门，囊括搜广推、CV、NLP、语音、多模态等主要业务场景。团队主导SOTA AI Infra架构设计与核心模块开发，支撑AI业务在AI前沿场景上规模落地。 【岗位职责】 参与开发下一代超大模型（百亿-万亿级）模型的GPU/NPU/PPU/CPU千卡互联分布式训练和推理框架。 参与开发分布式并行/流水线/通信优化/ZeRO/FSDP工作，消除大规模分布式训练通讯/计算/内存瓶颈，极致优化模型训练和推理的性能。 参与开发Triton，TileLang计算图编译优化或者使用CUDA/cutlass编写高性能算子，将硬件性能压榨到极致，最大化发挥出GPU/NPU/PPU/CPU等异构硬件协同算力。 参与开发/调试用于异构计算全链路的AI编译器，探索基于IR编译优化的片内多部件并行流水线等前沿技术，构建业界影响力。 支撑业界领先的多模态模型在国内最大的生活兴趣社区上落地。
负责 AI Agent Infra 建设，提升 AI Agent 产品创新效率，探索生成式 AI 在数字世界的实际应用。 1. 建设 Agent SWE Infra 工程，提升 Agent 相关代码的个性化构建和发布效率； 2. 建设 Sandbox Infra 工程，为各类 Agentic 场景提供高效、稳定、大规模的模拟器、多工具、图形交互的沙箱环境； 3. 建设 Serving Infra 工程，为生产提供通用的 Agent 服务化框架，优化 LLM 和 Agent 性能，保障高可用运行。
1、参与AI训练与推理系统的定制和优化，基于计算-存储-通信协同设计，为算法和模型迭代提供优秀的分布式训练和推理解决方案 2、构建高性能计算集群，提供跨地域异构算力的管理，解决通信、存储、调度等系统级瓶颈 3、深入AI框架底层（如PyTorch、Megatron、vLLM等），改进分布式计算、自动并行、显存优化等核心模块 4、支持AI服务的规模化部署，参与加速优化，算力调度优化和稳定性保障工作，提供通用的模型加速，问题诊断，可观测性等解决方案 5、探索前沿技术方向，如编译优化、post-train训练、agent基础框架等，参与算法模型和工程技术的联合创新实践，解决AI落地业务应用过程中，新出现的效率、规模问题