快手大模型全栈开发工程师-AI Infra
任职要求
1、有实际的大模型推理/服务经验，熟悉vLLM, TensorRT-LLM, TGI等至少一种推理框架； 2、有开发或深度使用Kubernetes Operator/CRD 来管理有…
工作职责
【关于我们】 我们属于快手AI infra底层中台，致力于让大模型能力稳定、高效、低成本地赋能公司的每一个产品和业务。我们的团队负责从GPU集群管理、模型训练与推理服务，到面向应用开发者的平台工具的全链路AI基础设施。如果你渴望解决AI规模化落地中最具挑战性的工程问题，并希望你的工作能产生巨大的实际影响，那么这里就是你的舞台。 【职位描述】 我们寻找的不仅仅是一个开发者，而是一个能深刻理解AI基础设施在稳定性、性能、成本三大维度上的挑战，并能通过全栈技术手段将其系统化解决的“问题终结者”。你将参与到核心平台的开发中，直面生产环境中高并发、大规模、高可用的工程难题。 1、提升AI Infra的稳定性与可靠性：设计、开发并优化大模型推理服务平台，实现服务的高可用、容灾、自动扩缩容与平滑发布；构建和完善监控与可观测性体系，从硬件、驱动、模型服务到业务API，实现全链路追踪、智能告警与根因分析，将MTTR降至最低；开发自动化运维与自愈工具，处理GPU故障、网络异常、依赖服务中断等复杂场景，保障SLA； 2、极致优化性能与效率：深入优化大模型推理性能，应用动态批处理、持续批处理、PagedAttention、量化、模型编译等前沿技术，显著降低响应延迟、提高吞吐量；开发和维护GPU资源调度与管理系统，提升GPU利用率，减少资源碎片；构建模型生命周期管理工具，实现模型的版本控制、A/B测试、蓝绿部署与流量调度，确保性能与效果的平稳迭代； 3、精细化成本控制与优化：构建资源成本核算与分摊体系，精确追踪每个项目、每个团队、每个模型的GPU/算力消耗；开发智能资源调度策略，利用竞价实例、混合部署、弹性计算等手段，在保证SLA的前提下最大化成本效益；实现自适应推理优化，根据请求特征、业务优先级动态调整计算精度与资源分配，实现“好钢用在刀刃上”； 4、全栈开发，打造一流开发者体验：负责或参与开发面向内部AI应用开发者的Web管理平台与API，提供从模型部署、服务监控到成本分析的一站式自助服务；设计和实现稳定、易用的客户端SDK/API，降低业务方接入和使用大模型能力的门槛。
我们是小红书中台大模型 Infra 团队，专注打造领先易用的「AI 大模型全链路基础设施」！团队深耕大模型「数-训-压-推-评」技术闭环，在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势，基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品，持续赋能社区、商业、交易、安全、数平、研效等多个核心业务，实现 AI 技术高效落地！ 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架，优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline； 2、研发支持多机多卡 RL 的分布式训练框架，开发TP/PP/ZeRO-3与RL流程的动态协同机制，解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链，主导框架与 MLOps 平台集成，提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作，参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代； 5、参与分析各业务 GPU 利用率与饱和度等指标，结合业务场景持续优化训练框架能力，提升框架领先性。
团队介绍：字节跳动豆包大模型团队（Seed）成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，并探索新的交互。团队研究方向涵盖 LLM、语音、视觉、世界模型、基础架构、AI Infra、下一代 AI 交互等，在中国、新加坡、美国等地设有实验室和岗位。 豆包大模型团队在 AI 领域拥有长期愿景与决心，坚持深耕基础，期望成为世界一流的 AI 研究团队，为科技和社会发展作出贡献。目前团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、扣子、即梦等超过 50 个应用场景。 1、以自研推理引擎为中心的在线推理服务和近离线批式推理任务框架，负责超大规模机器学习系统架构的设计开发，解决系统高并发、高可靠性、高可扩展性等技术难关，为搜索、推荐、审核等业务提供深度模型推理全场景端到端解决方案； 2、针对PyTorch、TensorFlow等框架提供高自动化、极致性能的模型优化方案，技术方案不限于子图匹配、编译优化、模型量化、异构硬件等； 3、面向全球多地域超大规模GPU算力集群，通过弹性调度、GPU超卖、任务编排等方式不断提升算力利用率； 4、与算法部门深度合作，进行算法与系统的联合优化。
1、负责研发AI计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 2、负责混合云计算AI Infra技术架构设计、训练场景化设计，训推一体场景化设计，推理场景系统优化； 3、负责混合云AI解决方案级能力的设计，整合集成集团内优势产品以及生态优势产品，打造解决方案级能力； 4、洞察人工智能及大模型的发展趋势，预研下一代AI基础设施的设计与研发。
1、负责混合云云原生AI Infra技术架构设计、推理场景系统优化、云原生AI套件等开发工作。 2、负责研发AI异构计算软件栈，通过结合不同硬件、高性能网络、缓存等技术，实现AI计算的全链路优化，助力打造高可靠、高性能、高效率的AI算力基础设施； 3、洞察人工智能及深度学习的发展趋势，积极参与下一代AI基础设施的设计与研发。