拼多多资深大数据资源调度方向研发工程师/专家

1. 负责⼤数据资源调度系统YARN 的设计和研发⼯作，解决集群规模增⻓带来的技术挑战，提⾼集群稳定性、 可扩展性，深度优化资源调度策略和性能，提升资源利⽤效率。 2. 负责 公司在离线混部系统 的设计和研发⼯作，解决混部场景下，在离线资源复⽤、协调、隔离等问题，保证 业务稳定性，提升在离线集群的资源利⽤效率。 3. 深⼊理解系统软硬件特性，关注线上运⾏状态，分析和解决线上问题，推动业务需求的解决⽅案落地

1.负责大数据开发平台的设计与研发，包括开发IDE、任务调度、监控运维、元数据管理、adhoc查询等； 2.完善平台功能，优化用户使用体验； 3.负责线上问题的排查和解决，持续优化和提高系统能力。

1. 负责大数据平台相关系统的运维保障，包括：HDFS/Yarn/Hive/Tez/Mapreduce/Kerberos/Ranger等开源系统； 2. 负责分布式业务平台的架构审核、应急响应、容量规划、性能优化等。

针对数据仓库、搜索、推荐、机器学习等场景，优化大数据分布式存储系统的性能和成本，提供跨地域可横向扩展的能力，构建元数据系统，提供业务自动化迁移能力。 1. 优化大数据分布式存储系统(HDFS, etc.)的效能，使用多层次存储、EC编码等手段降低运营成本，利用操作系统层缓存、内存、NVME等设备优化存储系统的读写性能，提高上层应用的效率； 2. 开发大数据分布式存储系统(HDFS, etc.)的跨地域方案，利用有限的带宽和资源实现对用户透明、一致性的使用体验，保障存储系统多地域的可横向扩展性； 3. 开发描述大数据分布式存储的元数据系统，建立全局统一的目录树结构，简化上层应用与底层存储的交互，实现可横向扩展的元数据系统，并提供业务透明的自动化迁移能力，降低运维成本。