logo of shein

希音技术专家(大数据平台)

社招全职6年以上信息技术类地点:南京状态:招聘

任职要求


1.至少6年以上大数据开发经验,有扎实的计算机编程基础,精通java,熟悉jvm的原理和调优。
2.熟悉大数据计算/存储/OLAP等技术栈应用,熟悉分布式系统原理,至少3年以上PB级大数据平台相关经验。
3.了解大数据行业趋势,熟悉Kubernetes/DockerCI/CD流程及自动化运维工具。
4.熟悉数据仓库建模(维度建模、分层设计)、数据指标及口径治理、ETL流程及调度系统(如Airflow、DolphinScheduler)。
5.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。
6.有良好的服务意识、沟通能力和团队协作精神。
7.有AWS/GCP/阿里云等云平台使用经验者优先。
8.有数据湖(Iceberg/Hudi/Paimon)或湖仓一体架构落地经验优先。

工作职责


一、岗位定位:
作为大数据平台技术专家,负责设计、构建和维护企业级大数据平台,支撑海量数据的高效存储、计算、分析与实时处理,赋能业务分析决策与智能化场景。

二、
1.主导大数据平台的架构设计、核心模块开发与性能调优。
2.构建高可用、易用性高、可扩展的数据计算和服务平台,支持离线批处理、实时流处理、交互式查询、支持B端系统等场景。
3.设计并落地数据血缘追踪、元数据管理、数据权限控制等治理方案,优化数据生命周期管理(采集、清洗、存储、计算、归档),提升资源利用率和任务执行效率。
4.跟踪大数据领域技术趋势(如Lakehouse、流批一体、云原生架构),探索AI与大数据结合场景,提升平台自动化水平,推动技术选型与落地。

三、
包括英文材料
大数据+
Java+
JVM+
OLAP+
分布式系统+
Kubernetes+
Docker+
CI+
CD+
数据仓库+
ETL+
Airflow+
AWS+
相关职位

logo of shein
社招3年以上信息技术类

1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。

更新于 2025-04-16
logo of tongyi
社招3年以上技术类-开发

1、负责AI平台大数据架构演进以及推进落地:根据不同领域场景大模型落地需求,与算法团队和IT基础设施团队紧密合作,提出大模型训练和优化数据规模、数据类型、数据结构等建议,确保架构有效实施; 2、负责搭建大模型数据平台:支撑大模型数据的存储、预处理(去重、相似度计算、脱敏等)诉求,针对大模型场景、数据类型、数据规模具有高扩展性,以支持大模型数据集持续迭代,实现高质量数据集沉淀,确保数据安全和隐私保护; 3、与算法团队紧密协作,抽象研发诉求,落地为便捷实用的的平台能力,提升整个团队的工作效率和数据处理能力。

更新于 2025-08-14
logo of iqiyi
实习研发

-参与爱奇艺大数据平台开发,负责前后端功能实现,为用户提供一站式数据集成、处理、分析等服务,简化数据使用,提升数据开发和分析效率。

更新于 2025-03-05
logo of alibaba
社招6年以上

1、负责淘系各类决策数据体系(用户、营销、供应链、搜推、价格力等)的建设,通过数据+工程化,联合BI赋能管理决策,提供高质、稳定的1+N+N决策数据产品; 2、建设淘系核心的数据资产(用户画像、商品资产等),利用数据、分析、算法、产品化等数据能力,联合数据科学,赋能集团新零售场景数据化运营转型; 3、构建淘系模型、稳定性、质量、成本等治理体系,建设丰富的技术+业务元数据,通过工程化能力,打造先进的淘宝数据治理平台,服务前台业务; 4、引入AIGC大模型能力,通过数据+算法+工程化,打磨智能化的数据取数工具,实现数据普惠。

更新于 2025-07-11