小红书AI平台高级研发工程师（推理方向）
任职要求
任职要求： 1、计算机相关专业本科及以上学历，3年以上后端开发经验 2、精通Go/Java等主流后端语言，具备微服务架构设计能力 3、熟练掌握MySQL、Redis等数据库，了解分布式系统原理 4、具备容器化部署经验，熟悉Kubernetes生态系统 5、有大规模在线服务开发经验，具备系统性能优化能力 加分项： 1、有机器学习平台或AI基础设施开发经验 2、熟悉CI/CD流程，具备DevOps实践经验 3、对模型服务化部署和推理架构有深入理解 4、有开源项目贡献经验，良好的项目合作能力和团队协作精神
工作职责
1、负责AI平台推理部署核心功能开发，包括服务管理、部署、发布等模块 2、设计并实现推理服务的自动化运维体系，包括监控、告警和运维工具 3、开发服务编排和调度系统，实现资源的高效分配和负载均衡 4、构建平台运维API和SDK，提供完整的服务生命周期管理能力 5、优化平台整体架构，提升系统可用性、扩展性和性能
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、负责大模型平台的架构设计和核心功能研发，构建云原生架构，设计高可用、高性能的微服务体系； 2、负责构建面向大模型全流程的DevOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地； 3、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段，提升GPU集群使用效率； 4、将平台和框架结合，通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率，涉及k8s/kubeflow、网络通信、分布式训练等； 5、优化各AI平台性能，提升系统稳定性和可扩展性，保障大规模并发场景下的服务质量与用户体验； 6、持续研究分析业内创新AI平台产品，优化技术方案，改进产品功能，提升创新能力与产品体验。
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。