拼多多资深⼤数据存储HDFS研发⼯程师/专家
社招全职7年以上技术类地点:上海状态:招聘
任职要求
1. 主导过⼤规模线上分布式系统的设计研发⼯作,熟悉了解业界前沿分布式存储系统的架构设计⽅案及design tradeoff; 2. 拥有7年以上分布式系统,存储系统或数据库相关研发经验,熟悉分布式系统相关理论,如Paxos/Raft等; 3. 熟练使⽤Java或C/C++,有多线程…
登录查看完整任职要求
微信扫码,1秒登录
工作职责
负责大数据分布式存储系统(HDFS etc.)的架构设计及研发⼯作。设计并开发业界领先的超⼤规模分布式统⼀存储系统,⽀撑数据仓库,搜索,⼴告,推荐,深度学习平台,实时计算等业务的稳定运⾏。 1. 主导超⼤规模的下⼀代分布式元数据存储服务的设计⼯作。设计开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题; 2. 带领团队重新设计及改造开源HDFS系统,以解决10k+集群规模下的NameNode性能及内存瓶颈问题,数据层热点,稳定性,⼀致性等挑战,提升扩展性以⽀持数据及集群规模的⾼速增⻓; 3. 与上层应⽤团队深度合作,针对⼤规模查询引擎,深度学习平台等应⽤场景进⾏深度定制设计及优化,共同解决超大数据规模下的性能及稳定性挑战; 4. 与IDC团队深度合作,参与存储与⽹络领域软硬件结合(RDMA/SPDK/NVMe-oF etc.)的⼯程创新探索, 设计开发底层OS及硬件友好的⾼性能存储系统。
包括英文材料
分布式系统+
https://www.distributedsystemscourse.com/
The home page of a free online class in distributed systems.
https://www.youtube.com/watch?v=7VbL89mKK3M&list=PLOE1GTZ5ouRPbpTnrZ3Wqjamfwn_Q5Y9A
系统设计+
https://roadmap.sh/system-design
Everything you need to know about designing large scale systems.
https://www.youtube.com/watch?v=F2FmTdLtb_4
This complete system design tutorial covers scalability, reliability, data handling, and high-level architecture with clear explanations, real-world examples, and practical strategies.
Paxos+
https://lamport.azurewebsites.net/pubs/paxos-simple.pdf
The Paxos algorithm for implementing a fault-tolerant distributed system has been regarded as difficult to understand, perhaps because the original presentation was Greek to many readers.
https://paxos.systems/
Paxos algorithms are a family of consensus algorithms (or protocols) that are used in distributed systems to achieve consensus in the presence of crash failures.
https://www.scylladb.com/glossary/paxos-consensus-algorithm/
Paxos is a family of protocols for solving the problem of consensus in distributed networks.
Raft+
https://raft.github.io/
Raft is a consensus algorithm that is designed to be easy to understand.
https://thesecretlivesofdata.com/raft/
Understandable Distributed Consensus
https://www.youtube.com/watch?v=ZyqAbQkpeUo
Sail into the world of distributed systems with our in-depth, Raft consensus algorithm tutorial.
Java+
https://www.youtube.com/watch?v=eIrMbAQSU34
Master Java – a must-have language for software development, Android apps, and more! ☕️ This beginner-friendly course takes you from basics to real coding skills.
还有更多 •••
相关职位
社招3年以上网易游戏(互娱)
1、能够按照产品和项目宣传的需要,按照工作计划,按时按质按量完成项目所需的概念设计,提交工作; 2、辅助编导同事设计并把控插画包装片的画面质量,准确传达画面含义; 3、静帧类壁纸设计图前期设计,中期协助3D制作并还原原画设计图,后期高模修图,完善3D的不足; 4、CG视频角色和场景拆分设计(类似游戏美术的角色原画和场景原画); 5、针对CG片镜头设计画面气氛,绘制情景概念图,准确指引3D制作方向; 6、创意型视频前期画面美术风格的设计; 7、数字绘景。(非专业性要求)
更新于 2026-06-15广州
社招5年以上技术
滴滴国际化Fintech业务,是滴滴国际化战略的重要组成板块。近年来,滴滴Fintech在拉美地区积极探索和开展电子支付、信贷、信用卡、商户收单等业务,为当地用户带来更便捷、优质、更高性价比的金融服务。我们诚挚邀请真诚、可靠、勇于挑战的您和我们一起,携手并肩,拥抱金融出海的浪潮,和滴滴Fintech一起快速成长。 1. 负责金融业务会员领域的系统设计和研发工作,包括但不限于核心业务、运营支撑等领域,为研发质量和系统稳定性负责。 2. 有机会主导并深度参与多个0-1、或1-100的关键项目建设,参与系统规划、讨论,共同打造业界领先的支付、金融平台。 3. 有机会学习并理解金融行业知识,了解海外的支付和金融市场,成为有国际化视野的技术专家。 4. base地:上海/杭州/北京
更新于 2025-07-23上海
社招网易游戏(互娱)
1.负责自研引擎的shader、pso、材质变体、shader cache等流程管理优化; 2.负责各平台RHI层接入适配优化; 3.负责游戏客户端引擎渲染相关功能模块设计与移动端落地; 4.与美术直接合作,满足其他职能引擎相关需求并共同推进画面表现提升; 5.负责游戏客户端性能优化以及稳定性提高;
更新于 2026-06-15杭州