快手云原生大数据调度工程师
任职要求
1、本科及以上学历，计算机相关专业； 2、掌握常用的数据结构/算法，扎实的代码功底与良好的编码习惯； 3、熟悉Golang、Java等开发语言中至少一种，Golang优先； 4、具有Docker、Kubernetes、…
工作职责
1、参与快手大数据Spark、Flink、MR等作业的编排调度工作； 2、基于Kubernetes等云原生技术完善资源统一调度、服务的多集群联邦编排，提升资源及服务变更效率； 3、参与公司在离线混部系列机制的设计与开发，提升集群异构资源的使用效率； 4、探索容器领域前沿技术，参与容器云全局技术优化与落地实践。
1.主导万卡级GPU集群的全局资源调度，通过精细化管理和优化策略，显著提升资源利用率，确保离线和在线任务的高效稳定运行； 2.深入优化RDMA高速网络、分布式存储与计算资源的协同调度，有效解决大规模训练任务中的性能瓶颈，提升整体计算效率； 3.基于Kubernetes、Docker等云原生技术，构建高可用调度框架，全面支持分布式训练框架，实现任务编排、容灾与混部能力，并深入K8s调度器、CSI插件及CRD的开发，推动大规模训推技术的实际落地； 4.积极探索混合云、虚拟化、ARM异构计算等前沿方向，不断推动技术与平台能力的升级和创新。
1 数据架构与开发： 负责企业级数据仓库、实时/离线数仓的架构设计与开发，优化ETL流程及数据调度系统； 基于Hadoop/Spark/Flink等框架，构建高可用、高性能的数据处理链路。 2 数据建模与治理： 根据业务合规需求设计数据模型，基于隐私平台建设隐私数据资产体系； 参与数据治理工作，保障数据质量、一致性及安全性。 3 业务协作与优化： 支持数据分析、BI及算法团队，提供联合分析、联合营销、联合建模等解决方案； 持续优化数据计算和存储性能，降低资源消耗。 4 技术探索： 跟踪大数据领域新技术（如数据湖、实时计算、云原生），探索联邦学习、隐私大数据解决方案。"
1. 负责基于 Java 微服务架构 的设计、开发和优化，支撑高并发、高可用的分布式系统。 2. 参与 大数据平台 的搭建与维护，包括数据采集、存储、计算（如实时/离线处理）及可视化等模块开发。 3. 与数据团队协作，优化数据处理流程，提升平台性能和稳定性。 4. 解决微服务和大数据场景下的技术难题（如分布式事务、性能调优、数据一致性等）。 5. 编写高质量代码，参与技术方案评审，推动团队技术沉淀与创新。
团队介绍：BABI平台是通过内部商业化/市场化的方式，以商品化为主要核心手段，围绕IT基础设施和人力成本提供一站式的平台支持，服务公司看清楚各业务部门从预算到成本到收入的经营过程，结合数据化、智能化的方式帮助业务线做好成本经营。 1、参与字节跳动技术团队及火山引擎业务等经营分析系统的大数据研发工作，包括但不限于BI可视化、OLAP分析、数据流调度、数据智能化服务等核心模块； 2、参与FinOps数据治理工作，持续提升数据易用性及数据质量，为经营分析提效赋能； 3、深入了解业务和系统痛点，给出优质的解决方案，并持续提升系统稳定性、可靠性、可扩展性，解决技术难题。