快手大数据计算引擎研发工程师/专家
任职要求
1、本科及以上学历，计算机科学与技术、软件工程或相关专业方向； 2、熟悉 Java 语言，扎实的计算机基础； 3、熟悉至少一种主流大数据引擎，包括但不限于 Spark/Presto/Flink/Kylin/…
工作职责
1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作，解决实际业务需求与性能问题； 2、接受大数据平台系统设计与实现复杂度的挑战，分析和发现系统的优化点，负责推动系统的合理性、可靠性、可用性的提升； 3、和开源社区保持交流，从社区引入对公司业务场景有帮助的特性与系统，或将内部研发的功能贡献到社区。
本岗位聚焦于阿里集团头部电商场景大规模深度学习流程中，样本、特征、索引和模型等数据的计算存储研发，包括但不限于以下职责： 1、构建面向稀疏和多模态模型训练场景的样本存算系统，支持搜推广稀疏模型和大模型训练。 2、开发和维护基于SQL增强的实时样本特征计算服务，推动多个业务场景取得时效性收益。 3、研发批流一体的广告实时数据平台，支持百亿级索引和特征的快速构建和秒级更新，保障实时索引链路稳定性。
1、协助负责 AI/机器学习平台相关引擎与基础设施的研发和维护，包括 Ray 分布式计算框架及相关训练、推理服务 2、协助负责承接平台方和业务方在模型训练、模型部署、数据处理等方向的需求，推动开源及内部系统的二次开发与持续优化 3、针对用户在分布式训练、任务编排、资源利用率、服务稳定性等方面的痛点，提供可落地的优化方案 4、建设自动化运维、监控告警和故障处理能力，保障机器学习平台日常稳定运行并持续提升系统效率。
1、协助负责开发和维护大数据存储与数仓相关引擎服务，包括 HDFS、HBase、Hive、Ozone 等核心组件 2、协助负责对接平台方和业务方需求，围绕开源及内部大数据系统开展二次开发、功能优化与性能调优 3、参与分析和解决用户在存储、查询、数仓等场景中的痛点问题，提供高可用、高性能的解决方案 4、开发自动化运维和管理工具，配合监控告警体系，保障系统日常稳定运行与故障快速恢复。
1、参与公司大数据平台架构的设计、优化与研发工作，涵盖 Spark、Hadoop、HBase、Iceberg 等核心组件 2、根据业务需求，设计高可用、高扩展性、高性能的大数据计算方案 3、参与 Iceberg 数据湖表的架构设计、规范制定与性能调优 4、参与 HBase 集群规划、表设计、预分区策略、热点优化及日常运维支持 5、参与 Spark 作业调优、资源管理与作业框架建设，提升整体计算稳定性与效率 6、配合团队进行 Hadoop 平台建设、集群管理、版本升级与安全策略落地 7、跟踪大数据技术前沿，结合业务场景进行技术预研和落地。