logo of shein

希音资深后台开发(大数据组件开发)

社招全职6年以上信息技术类地点:深圳状态:招聘

任职要求


1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。
2.精通spark/hive/flink组件原理和内核优化,有超大规模数据计算的架构设计和优化经验。
3.掌握大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。
4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。
5.有公有云使用经验者优先。
6.有良好的服务意识、沟通能力和团队协作精神。

——Kafka方向:
岗位职责:
1、设计和部署高可用、可扩展的Kafka集群,满足业务需求和性能目标;
2、管理和优化Kafka集群的性能和稳定性,日常监控Kafka集群的健康状况,确保数据流畅处理,并及时响应和处理线上问题;
3、建设kafka运维和开发自动化平台,开发和维护Kafka sdk,支持多种编程语言;
4、制定kafka使用规范,提供Kafka技术培训和支持给内部开发团队。
任职要求:
1、至少5年以上生产大规模使用Kafka的经验,包括Kafka集群的设计、部署和运维;
2、具有在大数据环境下工作的经验,熟悉HadoopFlink等生态系统者优先;
3、扎实的编程技能,包括JavaScalaPython,深入了解分布式系统原理和容错机制;
4、优秀的问题解决能力,能够在快节奏的环境中独立工作和做出决策;
5、熟悉各大云服务(如AWSAzure或GCP)、pulsar者优先;
6、出色的沟通技巧和团队合作精神。
城市:南京、深圳(可选)

工作职责


——Spark方向:
1.大数据新技术规划、调研、选型及推广落地。
2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。
3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。
4.参与平台功能研发,提供业务系统化的解决方案。
包括英文材料
Java+
Scala+
JVM+
Spark+
Hive+
内核+
系统设计+
大数据+
Kubernetes+
Docker+
Kafka+
高可用+
SDK+
Hadoop+
Python+
分布式系统+
AWS+
Azure+
Pulsar+
相关职位

logo of shein
社招3年以上信息技术类

1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。

更新于 2025-09-24
logo of shein
社招3年以上信息技术类

1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。

更新于 2025-04-16
logo of shein
社招3年以上信息技术类

1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。

更新于 2025-04-24
logo of shein
社招5年以上信息技术类

1、负责对象存储适配层的开发,支持AI训练、计算加速、统一查询等场景 2、随着对象存储适配层的功能开展,主动了解各业务线的架构,发现并解决其他的痛点问题

更新于 2025-09-03