logo of weride

文远知行高级大数据平台开发工程师

社招全职5年以上地点:广州状态:招聘

任职要求


负责为云上和自有数据中心K8s集群,分布式存储集群,以及其上运行的大数据/深度学习平台,定制、设计和开发各种系统模块,包括但不限于定制和开发大数据深度学习平台的监控系统,任务追踪和性能分析系统,K8s集群各种底层插件,平台服务的CI/CD系统等。
工作上需要深入细致,对大数据深度学习技术和平台有浓厚兴趣, 具备较强的团队管理能力和沟通能力,思维活跃,前瞻学习能力强。

职责:
1. 负责定制和开发云上以及自有数据中心上的监控报警系统、任务追踪和性能分析系统、平台服务的CI/CD系统等。
2. 负责定制和开发K8s集群各种底层插件,包括CNI,GPU,RDMA等。
3. 负责大数据深度学习的平台各种基础系统模块的开发

要求:
1. 5年以上大数据系统开发,设计,架构经验。有大数据深度学习任务开发的经验为佳。
2. 3年以上AWS或阿里云上大数据平台基础架构开发经验。
3. 熟悉大数据相关技术:Hadoop, Kafka, Hive, Zookeeper, Spark, Cassandra, MapReduce, 并阅读过相关源码。
4. 熟练理解和掌握Unixlinux系统。
5. 具备大数据云平台、计算存储平台、可视化开发平台经验,具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验。

工作职责


包括英文材料
Kubernetes+
大数据+
深度学习+
CI+
CD+
AWS+
Hadoop+
Kafka+
Hive+
ZooKeeper+
Spark+
Cassandra+
MapReduce+
Unix+
Linux+
算法+
相关职位

logo of ctrip
社招3年以上技术团队开发

1.负责实时计算平台的开发与设计; 2.负责实时/准实时湖仓的开发与设计; 3.负责Flink内核以及湖仓生态的开发与设计;

更新于 2025-05-08
logo of ctrip
社招3年以上技术团队开发

1.负责实时计算平台的开发与设计; 2.负责实时/准实时湖仓的开发与设计; 3.负责Flink内核以及湖仓生态的开发与设计;

更新于 2025-05-08
logo of ctrip
社招技术团队开发

1. 大数据可视化配置平台开发: 负责大数据可视化配置平台的设计与开发,独立完成核心功能模块的实现。 针对大数据场景下的SQL查询进行优化,提升数据查询和处理的性能。 设计和实现高性能、高可用的Java后端服务,支撑可视化平台的稳定运行。 2. 技术研究与创新: 跟踪大数据和可视化技术的最新发展趋势,持续优化平台功能。 研究并引入新技术,提升系统的性能、可扩展性和用户体验。 解决技术难题,推动技术创新在实际项目中的应用。 3. 团队协作与指导: 与产品经理、前端开发、数据分析师等团队成员紧密合作,确保项目高效推进。 参与技术方案的讨论和设计,提出可行性建议并推动落地。 分享技术经验,帮助团队成员共同成长。

更新于 2025-03-11
logo of xpeng
社招3年以上

1、负责公司级数据仓库的架构设计、模型建设和商业分析,经营稽核指标体系开发,支持实时/离线分析核心代码编写。 2、负责对接业务,收集、整理并分析业务需求,规划和执行落地,保证按时交付高质量的结果。 3、配合企业商业分析师团队,增强企业商业情报分析能力,提升产品规划决策效率和准确性。 4、负责数据仓库及商业分析报表体系的维护,保障数据处理的质量和效率。

更新于 2025-07-10