阿里云阿里云智能-数据传输高级开发专家-杭州\北京
任职要求
1. 有大型分布式、高并发、高性能、高可用、可观察性、可运维性系统的设计开发经验。 2. 有追求极致性能和工程质量的热情,充分利用 AI 工具提高代码质量,构建CICD 系统。 3. 熟悉各类数据库包括Redis、MySQL等。 4. 熟悉Java 语言及Spring框架开发经验优先,熟悉Golang语言,熟悉协程和内存模型优先。 5. 熟悉Kubernetes的架构、熟悉Linux/JVM系统知识,有线上tro…
工作职责
DTS数据传输服务是阿里云自研的核心数据产品,大规模服务于涉及国计民生的大量企业客户,并应用于双十一核心交易异地多活、广告、搜索等核心场景,并在 Data+AI 战略下发挥独特的价值。近年来,团队产出数十项发明技术专利,并在国际顶会 VLDB、ICDE、TDSC 上发表多篇学术论文。 1. 负责 DTS 数据库传输产品管控开发,提升产品稳定性、可扩展性、可观测性、高可用能力,为云上用户提供简单易用的数据传输服务。 2. 负责DTS全球化版本的开发,实现任务流、调度系统、资源管控系统的设计和开发,适配各 CPU\GPU 资源完成高度自动化部署、自运维的要求。 3. 参与DTS新链路、新产品形态开发,为用户提供更丰富的Serverless、zero-ETL等产品形态。 4. 面向AI场景开发数据传输应用,提升DTS产品在AI时代的竞争力。

负责 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等大数据集群的规划、部署与算力调优,保障集群 7×24 小时稳定运行。 负责集群日常运维、性能调优、容量规划、故障排查与问题根治,保障服务达成 SLA 指标。 负责大数据开源组件二次封装、功能迭代与漏洞修复,搭建通用工具与服务,赋能数据平台建设。 为数据分析团队提供底层技术支撑,协助解决平台使用过程中各类复杂技术问题。算机、软件工程、数学等相关专业,本科及以上学历,拥有 3 年及以上大数据研发相关工作经验。 具备中大型集群(PB 级数据量或 50~100 节点规模)整体规划、搭建与优化实战经验。 有 Hadoop、Spark、Hive、Presto 等开源框架源码修改、二次开发经验者优先。 精通 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等主流大数据生态组件。 熟练使用 Java、Python、Shell 进行开发,精通 HiveSQL 性能调优。 可独立完成需求分析、技术选型,能够设计高可用、高可扩展的大数据解决方案。 具备钻研精神与自驱力,沟通表达良好,拥有较强的抗压能力及集群应急处置能力。 具备 AI 开发能力,熟练使用主流 AI 编程提效工具(如 Codex、CodeCopilot 等)。 拥有大数据场景下大模型 Agent 设计、开发及项目落地经验者优先。 了解或掌握机器学习算法底层原理者优先。 ## Key Responsibilities * Design, deploy, optimize, and maintain large-scale big data clusters based on technologies such as Hadoop, Spark, Hive, HBase, Presto, Flink, and ClickHouse. * Ensure 24×7 stability, reliability, and performance of production data platforms through proactive monitoring, capacity planning, and performance tuning. * Troubleshoot complex system issues, conduct root cause analysis, and implement long-term solutions to meet SLA requirements. * Develop and enhance internal platform capabilities through customization, secondary development, feature enhancements, and bug fixes of open-source big data components. * Build reusable tools, frameworks, and platform services to improve engineering efficiency and support data platform evolution. * Provide technical guidance and infrastructure support for data analysts, data engineers, and business teams, helping resolve complex platform-related challenges. * Participate in architecture design, technology evaluation, and best-practice establishment for enterprise-scale data platforms. ##
岗位职责: 1.使用各类数据挖掘技术及机器学习算法以及大模型等前沿技术,基于海量多模态行为数据,构建完整的用户画像与兴趣建模体系,精准刻画用户行为。 2.结合对业务理解,深入挖掘数据价值,将业务问题转化为可建模的算法问题并推动在业务场景下应用,拿到业务结果。 3.深入思考产品业务价值,参与制定及落实团队在技术、业务等多维度发展方向。 4.深入理解食杂零售餐饮供应链业务逻辑和运营模式,与业务、产品、工程、数据等团队紧密协同,完成从业务问题到算法问题的抽象与定义,设计指标体系,进行算法技术选型和方案设计实现,推动落地应用。
1、数据处理 (100) 1. 负责行业、市场、竞品及公司经营相关数据的搜集、清洗、整理与汇总,维护数据台账。 2. 协助完成日常数据统计、核对、复盘,输出标准化数据报表,排查数据异常问题。 3. 协助整理行业资讯、政策、案例资料,配合撰写、校对战略分析及部门各类报告。 4. 负责部门数据、文档资料的归档整理,配合完成战略专项项目辅助工作。