logo of aliyun

阿里云阿里云智能-大数据研发专家-元数据

社招全职5年以上云智能集团地点:杭州状态:招聘

任职要求


1. 本科及以上学历,计算机科学、软件工程或相关专业;
2. 3年以上分布式系统研发经验,具有扎实的C++JavaPython编程能力;
3. 熟练掌握Linux环境下的编程;
4. 熟悉数据湖技术,如hudiicebergdeltalake等;
5. 熟悉大数据计算引擎,如SparkFlinkPresto等;
6. 具备良好的沟通能力和团队合作精神,能够与其他团队紧密合作;
7. 具有快速学习新技术和适应新环境的能力。

工作职责


1. 负责设计和开发 MaxCompute 统一托管,多数据源的平台级能力,构建湖与仓、仓与库,多引擎、多存储的统一元数据服务;
2. 开发和维护 MaxCompute 支持异构数据源直接查询、跨数据源联合分析的能力;
3. 设计和实现大规模分布式系统,深度参与计算引擎与存储引擎的联合优化;
4. 与其他团队紧密合作,包括产品、测试和运维团队,确保软件开发流程的顺利进行;
5. 参与代码审查和团队技术分享活动,提高团队技术水平。
包括英文材料
学历+
分布式系统+
C+++
Java+
Python+
Linux+
大数据+
Spark+
Presto+
Hudi+
Iceberg+
Delta Lake+
相关职位

logo of alibaba
社招6年以上

1、负责淘系各类决策数据体系(用户、营销、供应链、搜推、价格力等)的建设,通过数据+工程化,联合BI赋能管理决策,提供高质、稳定的1+N+N决策数据产品; 2、建设淘系核心的数据资产(用户画像、商品资产等),利用数据、分析、算法、产品化等数据能力,联合数据科学,赋能集团新零售场景数据化运营转型; 3、构建淘系模型、稳定性、质量、成本等治理体系,建设丰富的技术+业务元数据,通过工程化能力,打造先进的淘宝数据治理平台,服务前台业务; 4、引入AIGC大模型能力,通过数据+算法+工程化,打磨智能化的数据取数工具,实现数据普惠。

更新于 2025-07-11
logo of aliyun
社招5年以上云智能集团

1. 负责设计和开发DMS的统一元数据系统;包括所支持的40+种数据源的深度化研究,并将相关技术转化为产品 2. 开发和维护DMS异构数据源查询、跨数据源联合分析、湖数据分析相关功能的能力; 3. 设计和实现大规模分布式系统,深度参与计算引擎与存储引擎的联合优化; 4. 与其他团队紧密合作,包括产品、测试和运维团队,确保软件开发流程的顺利进行; 5. 参与代码审查和团队技术分享活动,提高团队技术水平。

更新于 2025-09-22
logo of eleme
社招3年以上技术类-数据

1. 主要参与搜索推荐、用户增长、零售等业务数据开发; 2. 参与实时、离线数据链路治理,通过数据治理与质量优化,支持业务提效; 3. 基于对业务理解和产品诉求的抽象,参与到面向业务应用的流批一体数据湖仓架构设计和研发落地; 4. 深入理解电商平台的业务,通过过程性数据分析,持续定位挖掘潜在问题,助力业务发展;

更新于 2025-08-27
logo of xiaohongshu
社招3-5年数据引擎

1、参与小红书Spark离线引擎的研发工作,支撑小红书云原生大规模离线数据处理场景,包括数据仓库、机器学习等场景,提升离线处理引擎的性能和稳定性 2、参与小红书Spark Native Engine 和 Serverless Spark 架构的研发工作,提升任务时效性,同时利用离在线混部降低资源成本 3、参与统一元数据工作,为小红书算法AI团队管理非结构化数据,提供统一访问方式,简化算法数据开发链路,并进行数据治理

更新于 2025-08-22