logo of youzan

有赞大数据平台开发工程师

社招全职地点:杭州状态:招聘

任职要求


基本要求:
1. Java 能力:精通 Java 核心编程,熟练使用 Spring Boot 等框架,具备系统架构设计和代码评审能力。
2. 分布式计算:熟悉 Hadoop/Spark/Flink 原理,熟悉其运行机制和体系结构。
3. 数据存储:熟练使用 MySQLElasticsearch 等存储引擎,能设计高效存储方案。
4. 工程与协作:遵循代码规范,具备测试和文档能力;擅长跨部门协作,推动项目落地。
5. 综合能力:数据敏感,逻辑分析能力强,能协调多方,探索前沿技术解决业务问题。

成长建议:
1. 从设计架构和代码实现的角度深入理解Hadoop大数据生态某一个技术组件;
2. 了解大数据在各个行业的产品和解决方案。

工作职责


岗位职责:
1. 平台全生命周期管理:负责大数据平台的架构设计、核心模块研发与全链路维护。通过系统化监控、故障预警与应急响应机制,保障系统稳定运行。
2. 资源效能优化:深度分析平台资源使用状况,通过性能调优、成本控制与资源动态调度策略,实现集群资源利用率提升。同时推动数据治理体系建设,保障数据质量、安全性及合规性。

工作内容:
1. 平台迭代与稳定性保障:负责数据平台核心模块(如分布式调度系统、元数据资产管理、异构数据集成平台等)的持续迭代
2. AI 技术深度融合:参与算法平台与 AI 基础服务的研发,构建智能化数据处理流水线,提升业务研发效率。
3. 智能化数据治理:利用 NLP、大模型 等 AI 技术实现数据治理自动化,降低人工成本,提升数据价值。
包括英文材料
Java+
Spring Boot+
系统设计+
Hadoop+
Spark+
MySQL+
ElasticSearch+
大数据+
相关职位

logo of pingantech
社招3年以上计算机网络技术类

1. 负责或参与大数据平台的架构设计以及基础组件的调优、改造、升级; 2. 结合客户需求,负责和参与大数据产品的设计与研发; 3. 负责数据平台新技术的研究及应用落地。

更新于 2024-10-16
logo of yy
社招3年以上

1、负责大数据平台开发工作,主要hadoop集群相关,能够解决业务的需求开发。 2、负责大数据平台的日常运维管理,保障数据平台的稳定性。 3、解决大数据平台的故障及性能问题,提升数据存储和计算效率。

更新于 2025-04-10
logo of tencent
社招3年以上TEG公共技术

1.负责大数据开发平台的设计实现,为公司各业务提供高效稳定的数据研发平台能力; 2.参与到需求评审、技术方案设计、编码实现、代码CR、功能测试等研发全流程工作; 3.与产品经理、测试运维等相关团队紧密协作,推动平台能力的高效快速落地; 4.持续优化系统架构,沉淀平台级公共服务组件,促进平台研发迭代效率,进一步提升系统性能和稳定性。

更新于 2025-08-28
logo of ctrip
社招5年以上国际业务开发

1、负责海外大数据平台的架构优化与解决方案制定。 2、对大数据服务进行性能优化,确保集群的高效与稳定运行,提升系统稳定性与可扩展性 3、优化大数据相关的数据治理、数据传输、数据建模、数据统计等问题 4、承接实时/离线的大数据处理流程开发,满足平台内各种数据业务需求 5、负责制定技术方案并组织编写技术文档和用户手册等

更新于 2025-03-18