搜狐AI Infra系统研发工程师
任职要求
1.具备扎实的计算机科学基础，熟悉数据结构、算法和计算机网络； 2.熟练掌握至少一门后端编程语言，并有相关的项目实践经验； 3.熟悉主流的Web框架、数据库、缓存等后端技术，并具备系统设计能力； 4.对AI技术有浓厚兴趣，有AI相关基础设施的实践经验者优先，如：向量数据库、模型服务化、LLM网关等； 5.具备出色的动手能力和解决实际问题的能力，能快速学习并应用新技术。
工作职责
1.负责AI应用的后端系统设计、开发与维护，保障服务的高可用性、可扩展性和安全性； 2.负责AI研发全流程中的关键平台工具的设计与开发； 3.构建和维护核心的AI基础服务，如统一模型服务网关、向量数据库与检索引擎，为上层AI应用提供基础能力； 4.与算法、全栈及产品团队紧密协作，深入理解研发流程中的痛点，持续优化基础设施与工具链，赋能团队进行更前沿的AI探索；
作为团队的工程核心，你将以后端系统研发为基础，同时负责构建和扩展支撑AI应用的研发工具链和基础设施，为业务创新提供稳定、高效的工程能力。 ●负责AI应用的后端系统设计、开发与维护，保障服务的高可用性、可扩展性和安全性。 ●负责AI研发全流程中的关键平台工具的设计与开发，包括但不限于：媒体内容数据平台、存储系统等 ●构建和维护核心的AI基础服务，如统一模型服务网关、向量数据库与检索引擎，为上层AI应用提供基础能力。 ●与算法、全栈及产品团队紧密协作，深入理解研发流程中的痛点，持续优化基础设施与工具链，赋能团队进行更前沿的AI探索。
1.基于开源项目 Ray，打造业内领先的通用分布式计算引擎，包括但不限于以下方向：引擎内核（分布式Task调度与执行）、分布式数据处理框架、分布式在线服务编排框架等； 2.面向 Data + AI，支持和拓展以 Ray 为 infra 的多种业务场景，包括但不限于以下方向：数据科学、大模型训练数据管道服务、在线推理与离线推理、AI Agent与应用系统、隐私计算、图计算等； 3.与 K8S 深度融合，建设云原生环境下超大规模分布式系统的服务能力与平台化能力，为业务提供高可用、可扩展、高易用性的集群化服务； 4.参与开源共建与合作，提升团队与个人在业界的影响力。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。
小红书中台AI Infra团队深耕大模型「数-训-压-推-评」技术闭环，具备专业的大模型训练加速、模型压缩、推理加速、部署提效等方向硬核技术积淀，基于RedAccel训练引擎、RedSlim压缩工具、RedServing推理部署引擎、DirectLLM大模型MaaS服务，支撑小红书社区、商业、交易、安全、数平、研效等多个核心业务实现AI技术高效落地！ 大模型训练方向： 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练Pipeline； 2、研发支持多机多卡RL的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决RL算法在超长时序下的显存/通信瓶颈； 3、基于自建的训推引擎，落地公司统一的大模型生产部署平台，为公司所有大模型算法同学提供端到端的一站式服务。 大模型压缩方向： 1、探索研发针对大语言模型、多模态大模型等场景的压缩技术，包括但不限于量化、蒸馏、剪枝、稀疏化等； 2、参与/负责多个业务场景中的模型压缩技术实现，对模型进行轻量化压缩，提高训练/推理效率，支持业务降本增效； 3、参与/负责针对英伟达GPU、华为昇腾NPU等不同的计算硬件，制定不同的模型压缩方案并在业务落地。 大模型推理方向： 1、参与/负责研发面向LLM/MLLM等模型的稳定、易用、性能领先的AI推理框架； 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术，支撑各业务方向持续降本增效； 3、深度参与周边深度学习系统多个子方向的工作，包括但不限于模型管理、推理部署、日志/监控、工作流编排等。 高性能计算方向： 1、参与/负责AI推理/训练框架的底层性能优化工作，包括但不限于高性能算子、通信库开发与优化等工作； 2、参与/负责大模型计算引擎的研发工作，通过多种方式实现训推性能SOTA； 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 大模型服务方向： 1、参与/负责大模型MaaS系统的架构设计、系统研发、产品研发等工作； 2、深入参与面向大模型场景的请求调度、异构资源调度、引擎优化等核心工作，实现万亿级并行推理系统； 3、为内部产品线提供解决方案，协助公司内用户解决大模型应用过程中业务在MaaS上的使用问题。