logo of meituan

美团高性能分布式存储研发工程师

社招全职核心本地商业-基础研发平台地点:北京状态:招聘

任职要求


1、精通C/C++,具有多线程高并发及各种IO模型的编程经验,对性能优化有强烈的自我驱动力;
2、熟悉分布式算法(如paxosraft)、计算机网络(如各种rpc实现和高性能网络收发库),理解大型分布式存储系统工作原理,以及相应的开源实现(例如grpczketcd、braft等等);
3、有文件存储、块存储、对象存储开发经验(包括但不限于Ceph、GlusterFS、Lustre、ZFS、fuse等等)。

具备以下条件优先
1、熟悉主流AI框架,如TensorFlowPyTorch等。
2、对AI生态有深入理解,能有效对接并优化数据访问流程。
3、对高性能计算场景的存储需求有深刻体会,了解现有开源存储项目在高性能场景下的诸多痛点和不足
4、了解行业发展前沿技术如高速RDMA网络、用户态零拷贝存储SPDK、高性能存储介质NVMe、高并发无锁数据结构等等

工作职责


1、负责主导面向AI场景的高性能分布式存储平台的设计和研发工作;
2、面向公司内特有场景, 基于开源模块,设计与落地实现更合理的自研存储架构,接口层面包括但不限于分布式文件/分布式对象存储等;
3、研究AI生态对接、数据访问/处理加速,与存储配合设计解决性能瓶颈,构建AI场景端到端竞争力;
包括英文材料
C+
C+++
多线程+
高并发+
算法+
Paxos+
Raft+
RPC+
gRPC+
etcd+
Ceph+
TensorFlow+
PyTorch+
数据结构+
相关职位

logo of nio
社招5-7年软件研发

1.打造以及维护毫秒级高性能分布式存储系统,针对性能,成本,可靠性持续优化; 2.负责面向AI训练的高性能存储应用设计和开发; 3.负责分布式存储系统的线上运营,数据分析,以及现网问题攻坚。

更新于 2024-11-08
logo of kuaishou
社招5年以上D7194

1、面向离线计算、实时计算、数据湖、AI训练、消息系统等负载,提供高稳定性、低成本、高性能的分布式文件系统服务; 2、解决超大规模分布式文件系统在元数据管理、集群管理、低成本、稳定性、性能和可运维性上面临的各类挑战性问题。

更新于 2025-02-12
logo of kuaishou
社招5年以上D7194

1、面向离线计算、实时计算、数据湖、AI训练、消息系统等负载,提供高稳定性、低成本、高性能的分布式文件系统服务; 2、解决超大规模分布式文件系统在元数据管理、集群管理、低成本、稳定性、性能和可运维性上面临的各类挑战性问题。

更新于 2025-02-12
logo of kuaishou
社招5年以上D7194

1、面向离线计算、实时计算、数据湖、AI训练、消息系统等负载,提供高稳定性、低成本、高性能的分布式文件系统服务; 2、解决超大规模分布式文件系统在元数据管理、集群管理、低成本、稳定性、性能和可运维性上面临的各类挑战性问题。

更新于 2025-02-12