快手大数据调度&大模型训练AI-Infra工程师/专家

1、参与快手大数据Spark、Flink、MR等作业的编排调度工作； 2、基于Kubernetes等云原生技术完善资源统一调度、服务的多集群联邦编排，提升资源及服务变更效率； 3、参与公司在离线混部系列机制的设计与开发，提升集群异构资源的使用效率； 4、探索容器领域前沿技术，参与容器云全局技术优化与落地实践。

1，开发套件研发：负责大数据开发套件的研发和优化工作，包括数据开发、数据调度、数据集成（如FlinkCDC）、数据血缘、数据质量等模块的设计与研发； 2，持续跟踪和引进新技术，推动团队进行技术创新和研究，提升大数据处理和分析的效率、稳定性和可扩展性； 3，理解用户需求和业务场景，提供技术解决方案，推动大数据开发套件在用户侧的落地实施。

‌1 数据架构与开发‌： 负责企业级数据仓库、实时/离线数仓的架构设计与开发，优化ETL流程及数据调度系统； 基于Hadoop/Spark/Flink等框架，构建高可用、高性能的数据处理链路。 ‌2 数据建模与治理‌： 根据业务合规需求设计数据模型，基于隐私平台建设隐私数据资产体系； 参与数据治理工作，保障数据质量、一致性及安全性。 ‌3 业务协作与优化‌： 支持数据分析、BI及算法团队，提供联合分析、联合营销、联合建模等解决方案； 持续优化数据计算和存储性能，降低资源消耗。 ‌4 技术探索‌： 跟踪大数据领域新技术（如数据湖、实时计算、云原生），探索联邦学习、隐私大数据解决方案。"

1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求；  2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级；  3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。