字节跳动高级存储研发专家
任职要求
1、熟悉SPDK/VIRTIO/NVME等相关的存储领域知识,有Virtio或SPDK实际项目开发经验; 2、了解X86,PCIE,内核存储,网络(TCP/IP、Ro…
工作职责
字节DPU 团队致力于构建字节跳动集团以及火山引擎公有云的计算基础设施底座,致力于下一代云计算领域底层软硬件技术(计算/网络/存储)的研发和探索,含下一代的软硬一体虚拟化 Hypervisor 底座、自研用户态网络协议栈、高速传输协议机及应用、虚拟网络交换机、高性能存储栈等技术方向的生产开发与前沿探索。 1、负责字节跳动自研DPU卡上的存储驱动(NVME/VIRTIO)、存储加速卸载、高性能存储接入栈(ByteLight)等相关研发工作,聚焦于DPU卡上存储栈开发; 2、持续跟踪业界存储领域的发展趋势,探索NVME、分布式块存储、虚拟化存储(Vhost/Virtio)、容器存储(CSI)、AEP等在软硬一体化加速方向上的演进路线,尤其是结合DPU卡的下一代存储架构的演进方向。
1、负责字节跳动自研DPU卡上的存储驱动(NVME/VIRTIO)、存储加速卸载、高性能存储接入栈(ByteLight)等相关研发工作,聚焦于DPU卡上存储栈开发; 2、持续跟踪业界存储领域的发展趋势,探索NVME、分布式块存储、虚拟化存储(Vhost/Virtio)、容器存储(CSI)、AEP等在软硬一体化加速方向上的演进路线,尤其是结合DPU卡的下一代存储架构的演进方向。
1. 负责智算高性能存储系统架构设计与开发,面向AI训练场景的高性能并行文件系统模块开发,设计多级元数据服务架构,支撑海量文件与高吞吐数据流。 2. 软硬件定义,机型设计,构建存算协同机制,实现GPU Direct Storage、KV Cache/Share,不断提升存储系统性能和减少计算。 3. 保障存储系统高可用与数据安全,通过分布式强一致性、同/异步复制提升数据可靠性,设计系统自愈能力应对磁盘/节点异常,增强系统可观测和易运维能力,并通过测试与故障注入得到验证。
1. 深入理解基于NAND的固态硬盘(SSD),基于SCM介质的Persistent Memory (PMEM)的原理、架构、控制器/固件实现,以及相应主机端驱动和操作系统IO软件栈的架构和实现。针对阿里云业务场景,架构 / 设计 / 开发相关产品,满足阿里数据中心对于新型SSD和PMEM的需求。 2. 深入理解存储业务应用,对分布式文件系统、块存储、对象存储、文件存储、以及大数据平台进行深入分析,了解阿里业务情况与用户需求,制定低成本、高性能的存储软硬件技术和产品的发展路线。 3. 与工业界、学术界密切接触,跟进新研究和开发状态,结合阿里业务发展,规划未来阿里存储软硬件产品以及相应软硬件架构的路线图,推进存储平台的标准化,发表文章和专利,树立国际影响力。 4. 与服务器架构团队密切配合,规划机型,并落地针对块存储/对象存储/冷存储/大数据存储等各类软硬件产品。
1. 大数据平台架构设计与开发 - 负责构建、优化和维护企业级大数据平台,包括数据采集、存储、处理、分析及可视化系统; - 设计高可用、高并发、可扩展的大数据架构,支持海量数据的实时/离线处理与分析。 - 设计高质量的数据模型,确保模型规范易用 2. 数据处理与分析 - 基于阿里大数据开发规范,构建数据仓库和数据湖,开发离线和实时ETL任务。 - 利用统计分析/机器学习/深度学习算法挖掘数据洞察,支持运营和产品决策和行动 3. 问题排查与系统性能优化 - 及时诊断、定位、解决离线和实时等各类计算任务的问题; - 对长耗时计算任务进行性能优化 4. 技术研究与创新 - 善于技术钻研,跟踪大数据领域前沿技术,推动技术落地与应用; - 推动AI技术在数据研发域的效能提升和产品创新 5. 数据安全与合规 - 设计并实施数据安全策略,确保数据隐私与合规性。