字节跳动高级研发工程师（推理优化方向）-TRAE
任职要求
1、本科及以上学历，计算机相关专业，三年及以上研发经验； 2、具备扎实的软件开发基本功，熟练掌握C/C++/Golang/Java/Python中至少一种编程语言； 3、具备优秀的学习能力、能够快速探索并实践全新的领域技能； 4、对LLM应用研发技术栈有一定了解，对建设生产级LLM-powered应用有实战经历； 5、对LLM的推理技术和常用框架有一定了解，在模型优化方面有实际经验。
工作职责
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。
团队介绍：TRAE（The Real AI Engineer），是字节跳动旗下产品，一个能理解需求、调动工具、独立完成开发任务的 AI 工程师，为用户提供端到端生成真实软件的服务。TRAE是当前国内最受欢迎的AI编程产品之一，也是全球首个端到端AI软件开发Agent产品，可覆盖简单到复杂全场景。我们正在寻找充满热情、富有创造力的人才。期待你的加入，与我们共同重塑开发范式，定义未来开发的形态。 1、探索并打造基于LLM的下一代生产力工具，重点围绕软件研发场景（包括代码托管、代码分析、IDE等各工具平台）、实现LLM赋能； 2、探索并打造企业级LLM应用研发基础设施，建设LLM应用开发的接入平台及基础框架能力； 3、集合应用场景进行LLM推理优化，提升推理性能，降低服务成本。
1、负责AI平台推理部署核心功能开发，包括服务管理、部署、发布等模块 2、设计并实现推理服务的自动化运维体系，包括监控、告警和运维工具 3、开发服务编排和调度系统，实现资源的高效分配和负载均衡 4、构建平台运维API和SDK，提供完整的服务生命周期管理能力 5、优化平台整体架构，提升系统可用性、扩展性和性能
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、负责大模型平台的架构设计和核心功能研发，构建云原生架构，设计高可用、高性能的微服务体系； 2、负责构建面向大模型全流程的DevOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地； 3、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、GPU虚拟化、存储&网络加速等手段，提升GPU集群使用效率； 4、将平台和框架结合，通过任务调度、弹性容灾、性能优化等措施端到端提升AI生产效率，涉及k8s/kubeflow、网络通信、分布式训练等； 5、优化各AI平台性能，提升系统稳定性和可扩展性，保障大规模并发场景下的服务质量与用户体验； 6、持续研究分析业内创新AI平台产品，优化技术方案，改进产品功能，提升创新能力与产品体验。