拼多多资深大数据SRE研发工程师/专家

1、负责大规模大数据底层存储、计算组件的运维部署、管理扩容和优化等，保障服务的稳定性和可用性等: 2、负责推动混部的落地，提升计算资源利用率; 3、负责自动化运维平台的优化，提升运维工作效率; 4、协同数据平台研发提升作业稳定性，为业务保驾护航;

1. 负责⼤数据资源调度系统YARN 的设计和研发⼯作，解决集群规模增⻓带来的技术挑战，提⾼集群稳定性、可扩展性，深度优化资源调度策略和性能，提升资源利⽤效率； 2. 负责 公司在离线混部系统 的设计和研发⼯作，解决混部场景下，在离线资源复⽤、协调、隔离等问题，保证业务稳定性，提升在离线集群的资源利⽤效率； 3. 深⼊理解系统软硬件特性，关注线上运⾏状态，分析和解决线上问题，推动业务需求的解决⽅案落地。

1.负责大数据开发平台的设计与研发，包括开发IDE、任务调度、监控运维、元数据管理、adhoc查询等； 2.完善平台功能，优化用户使用体验； 3.负责线上问题的排查和解决，持续优化和提高系统能力。

针对数据仓库、搜索、推荐、机器学习等场景，优化大数据分布式存储系统的性能和成本，提供跨地域可横向扩展的能力，构建元数据系统，提供业务自动化迁移能力。 1. 优化大数据分布式存储系统(HDFS, etc.)的效能，使用多层次存储、EC编码等手段降低运营成本，利用操作系统层缓存、内存、NVME等设备优化存储系统的读写性能，提高上层应用的效率； 2. 开发大数据分布式存储系统(HDFS, etc.)的跨地域方案，利用有限的带宽和资源实现对用户透明、一致性的使用体验，保障存储系统多地域的可横向扩展性； 3. 开发描述大数据分布式存储的元数据系统，建立全局统一的目录树结构，简化上层应用与底层存储的交互，实现可横向扩展的元数据系统，并提供业务透明的自动化迁移能力，降低运维成本。