阿里云阿里云智能-大数据研发专家-元数据
任职要求
1. 本科及以上学历,计算机科学、软件工程或相关专业; 2. 3年以上分布式系统研发经验,具有扎实的C++、Java或Python编程能力; 3. 熟练掌握Linux环境下的编程; 4. 熟悉数据湖技术,如hudi、i…
工作职责
1. 负责设计和开发 MaxCompute 统一托管,多数据源的平台级能力,构建湖与仓、仓与库,多引擎、多存储的统一元数据服务; 2. 开发和维护 MaxCompute 支持异构数据源直接查询、跨数据源联合分析的能力; 3. 设计和实现大规模分布式系统,深度参与计算引擎与存储引擎的联合优化; 4. 与其他团队紧密合作,包括产品、测试和运维团队,确保软件开发流程的顺利进行; 5. 参与代码审查和团队技术分享活动,提高团队技术水平。
1、负责淘系各类决策数据体系(用户、营销、供应链、搜推、价格力等)的建设,通过数据+工程化,联合BI赋能管理决策,提供高质、稳定的1+N+N决策数据产品; 2、建设淘系核心的数据资产(用户画像、商品资产等),利用数据、分析、算法、产品化等数据能力,联合数据科学,赋能集团新零售场景数据化运营转型; 3、构建淘系模型、稳定性、质量、成本等治理体系,建设丰富的技术+业务元数据,通过工程化能力,打造先进的淘宝数据治理平台,服务前台业务; 4、引入AIGC大模型能力,通过数据+算法+工程化,打磨智能化的数据取数工具,实现数据普惠。
1. 负责设计和开发DMS的统一元数据系统;包括所支持的40+种数据源的深度化研究,并将相关技术转化为产品 2. 开发和维护DMS异构数据源查询、跨数据源联合分析、湖数据分析相关功能的能力; 3. 设计和实现大规模分布式系统,深度参与计算引擎与存储引擎的联合优化; 4. 与其他团队紧密合作,包括产品、测试和运维团队,确保软件开发流程的顺利进行; 5. 参与代码审查和团队技术分享活动,提高团队技术水平。
1. 大数据平台架构设计与开发 - 负责构建、优化和维护企业级大数据平台,包括数据采集、存储、处理、分析及可视化系统; - 设计高可用、高并发、可扩展的大数据架构,支持海量数据的实时/离线处理与分析。 - 设计高质量的数据模型,确保模型规范易用 2. 数据处理与分析 - 基于阿里大数据开发规范,构建数据仓库和数据湖,开发离线和实时ETL任务。 - 利用统计分析/机器学习/深度学习算法挖掘数据洞察,支持运营和产品决策和行动 3. 问题排查与系统性能优化 - 及时诊断、定位、解决离线和实时等各类计算任务的问题; - 对长耗时计算任务进行性能优化 4. 技术研究与创新 - 善于技术钻研,跟踪大数据领域前沿技术,推动技术落地与应用; - 推动AI技术在数据研发域的效能提升和产品创新 5. 数据安全与合规 - 设计并实施数据安全策略,确保数据隐私与合规性。