阿里云阿里云智能-大数据研发专家-元数据
任职要求
1. 本科及以上学历，计算机科学、软件工程或相关专业； 2. 3年以上分布式系统研发经验，具有扎实的C++、Java或Python编程能力； 3. 熟练掌握Linux环境下的编程； 4. 熟悉数据湖技术，如hudi、i…
工作职责
1. 负责设计和开发 MaxCompute 统一托管，多数据源的平台级能力，构建湖与仓、仓与库，多引擎、多存储的统一元数据服务； 2. 开发和维护 MaxCompute 支持异构数据源直接查询、跨数据源联合分析的能力； 3. 设计和实现大规模分布式系统，深度参与计算引擎与存储引擎的联合优化； 4. 与其他团队紧密合作，包括产品、测试和运维团队，确保软件开发流程的顺利进行； 5. 参与代码审查和团队技术分享活动，提高团队技术水平。
1、负责淘系各类决策数据体系(用户、营销、供应链、搜推、价格力等)的建设，通过数据+工程化，联合BI赋能管理决策，提供高质、稳定的1+N+N决策数据产品； 2、建设淘系核心的数据资产(用户画像、商品资产等)，利用数据、分析、算法、产品化等数据能力，联合数据科学，赋能集团新零售场景数据化运营转型； 3、构建淘系模型、稳定性、质量、成本等治理体系，建设丰富的技术+业务元数据，通过工程化能力，打造先进的淘宝数据治理平台，服务前台业务； 4、引入AIGC大模型能力，通过数据+算法+工程化，打磨智能化的数据取数工具，实现数据普惠。
1. 负责设计和开发DMS的统一元数据系统；包括所支持的40+种数据源的深度化研究，并将相关技术转化为产品 2. 开发和维护DMS异构数据源查询、跨数据源联合分析、湖数据分析相关功能的能力； 3. 设计和实现大规模分布式系统，深度参与计算引擎与存储引擎的联合优化； 4. 与其他团队紧密合作，包括产品、测试和运维团队，确保软件开发流程的顺利进行； 5. 参与代码审查和团队技术分享活动，提高团队技术水平。
1. 主要参与搜索推荐、用户增长、零售等业务数据开发； 2. 参与实时、离线数据链路治理，通过数据治理与质量优化，支持业务提效； 3. 基于对业务理解和产品诉求的抽象，参与到面向业务应用的流批一体数据湖仓架构设计和研发落地； 4. 深入理解电商平台的业务，通过过程性数据分析，持续定位挖掘潜在问题，助力业务发展；
1、参与小红书Spark离线引擎的研发工作，支撑小红书云原生大规模离线数据处理场景，包括数据仓库、机器学习等场景，提升离线处理引擎的性能和稳定性 2、参与小红书Spark Native Engine 和 Serverless Spark 架构的研发工作，提升任务时效性，同时利用离在线混部降低资源成本 3、参与统一元数据工作，为小红书算法AI团队管理非结构化数据，提供统一访问方式，简化算法数据开发链路，并进行数据治理