腾讯大模型存储研发Leader/架构师
任职要求
1.具备扎实的计算机技术基础,精通数据结构和算法,熟练掌握Linux环境下的C/C++/Go/Python等至少一门编程语言; 2.掌握分布式系统原理(一致性、可靠性、扩展性等),主导或深度参与过至少一款大型分布式系统研发; 3.富有创造力、学习能力和自驱力,具备极强的逻辑分析与问题拆解能力,能对业务场景进行深度分析和抽象,创造性解决存储性能、可靠性…
工作职责
1.负责大模型专用存储系统的设计研发,围绕大模型训练/推理场景构建一体化分层存储架构,无缝对接大模型训推框架:; 2.架构设计与场景适配:通过系统性逻辑分析拆解大模型存储瓶颈,结合训推场景的数据流特征,设计分层存储架构,解决数据流转效率与一致性问题; 3.推理性能极致优化:面向推理场景,通过全链路IO瓶颈的逻辑分析,结合CXL、RDMA、GPU Direct等高速互联技术,设计极致IO路径,实现数据高效传输,持续优化TTFT、TBT、并行吞吐等核心性能指标,解决推理延迟与并发瓶颈; 4.训练场景稳定性保障:面向训练场景,通过对万卡接入、爆发式流量的模式分析与逻辑建模,设计高可靠、高吞吐的存储服务方案,解决长周期训练中的数据稳定性与性能波动问题。
1.负责大模型专用存储系统的设计研发,围绕大模型训练/推理场景构建一体化分层存储架构,无缝对接大模型训推框架:; 2.架构设计与场景适配:通过系统性逻辑分析拆解大模型存储瓶颈,结合训推场景的数据流特征,设计分层存储架构,解决数据流转效率与一致性问题; 3.推理性能极致优化:面向推理场景,通过全链路IO瓶颈的逻辑分析,结合CXL、RDMA、GPU Direct等高速互联技术,设计极致IO路径,实现数据高效传输,持续优化TTFT、TBT、并行吞吐等核心性能指标,解决推理延迟与并发瓶颈; 4.训练场景稳定性保障:面向训练场景,通过对万卡接入、爆发式流量的模式分析与逻辑建模,设计高可靠、高吞吐的存储服务方案,解决长周期训练中的数据稳定性与性能波动问题。
1.负责大模型专用存储系统的设计研发,围绕大模型训练/推理场景构建一体化分层存储架构,无缝对接大模型训推框架:; 2.架构设计与场景适配:通过系统性逻辑分析拆解大模型存储瓶颈,结合训推场景的数据流特征,设计分层存储架构,解决数据流转效率与一致性问题; 3.推理性能极致优化:面向推理场景,通过全链路IO瓶颈的逻辑分析,结合CXL、RDMA、GPU Direct等高速互联技术,设计极致IO路径,实现数据高效传输,持续优化TTFT、TBT、并行吞吐等核心性能指标,解决推理延迟与并发瓶颈; 4.训练场景稳定性保障:面向训练场景,通过对万卡接入、爆发式流量的模式分析与逻辑建模,设计高可靠、高吞吐的存储服务方案,解决长周期训练中的数据稳定性与性能波动问题。
团队介绍: 7 亿快手用户每天都在生产百 PB 级的数据,需要被长期地记录下来,这些数据包括媒体数据、用户及业务的画像与行为数据、大模型的样本与训练数据等,这些都属于快手的高价值数字资产。存储团队的职责,就是以极高的性价比为快手和用户保障数据的稳固。 随着 AGI 时代的临近,存储的边界也在被重新定义,目前我们正处于存储发展的关键时期,这是一个充满技术挑战与行业影响力的机会,如果你对分布式存储系统、分布式缓存系统或性能优化充满热情,欢迎加入我们,一起应对高复杂业务场景,驱动技术发展,创造行业价值。 1、负责存储相关组件的设计与开发,服务于大模型训练及推理场景,包括模型分发、KV Cache、并行 IO 优化等,提高核心性能指标; 2、负责设计和实现面向海量数据的分布式缓存,综合利用本地内存、本地 SSD 以及远端存储系统(对象存储/HDFS)等进行数据的存储和迁移管理,实现「近计算端缓存+远端大容量存储」的一体化分级系统; 3、负责设计和实现高效、易用的数据访问接口,实现和推理框架、引擎的无缝对接; 4、负责存储与缓存的接入、管理、运维、监控,确保稳定性。
大模型推理的成本与效率是行业核心挑战,而 KV Cache 管理是突破瓶颈的关键。本岗位将主导构建下一代 LLM 推理存储架构,融合算法优化、系统调度与硬件感知能力,打造高弹性、低成本、高可用的推理基础设施,支撑公司核心大模型业务的规模化落地。 1. 负责设计和实现面向大规模推理的存储系统,深度融合推理引擎,构建从显存、本地内存至分布式冷存储的全局多级存储池; 2. 基于特征识别实现数据的智能调度与分布管理,推动计算存储分离、弹性资源池等核心能力落地,建立高扩展、高可靠的推理存储系统底座; 3. 定义存储与推理引擎间的统一数据访问抽象层,通过零侵入式接口设计实现计算存储解耦,为多级缓存、预取调度等高级策略提供标准化支撑; 4. 建立 KV Cache 资源评估与治理体系,通过数据驱动的方式识别优化空间,在保障服务品质的前提下持续降低推理成本、提升资源 ROI; 5. 联合上下游团队,深入 KV Cache 全栈优化和技术攻关,建立端到端 KV Cache 系统; 6. 跟踪学术界与工业界 KV Cache 最新进展,推动量化、压缩、调度等创新技术在大规模生产环境中的落地。