有赞大数据开发工程师-数据应用方向
任职要求
1. 精通Java开发语言，具备扎实的编程基础和良好的编码规范，熟悉Spring、MyBatis等开发框架，具备独立设计和开发复杂平台或服务的能力； 2. 熟悉Hadoop/Spark/Flink等分布式计算技术，熟悉其运行机制和体系结构； 3. 熟悉Mysql/Doris/Clickhouse/Kylin等存储引擎的数据存储及使用方法，以…
工作职责
我们是有赞的核心数据团队，主要负责商家后台数据中心的建设与运营。我们致力于打造业界领先的、基于语义层的统一数据服务平台（OneService），构建完善的指标管理体系，赋能商家精细化运营，提升数据驱动决策的效率。加入我们，你将有机会参与从0到1或从1到N构建企业级数据服务核心基础设施的过程。 岗位职责： 1. 负责统一数据服务平台（基于语义层）的设计、研发与持续优化，打造公司级标准、高效、易用的数据消费入口； 2. 负责指标中心/指标管理系统的规划与建设，建立规范化的指标生产、维护、管理流程与配套工具，保障指标口径统一与准确； 3. 提升平台数据服务能力，支持多样化的数据消费场景（如：BI报表、自助分析、数据API、运营活动等），赋能业务实现数据驱动，包括但不限于数据可视化产品，数据赋能运营等场景的设计和落地； 4. 持续优化数据平台的技术架构，提升系统稳定性、查询性能和用户体验，降低数据接入和使用成本； 5. 负责数据产品的开发及维护工作，与数据分析师、产品经理、业务方紧密合作，理解数据需求，将其转化为标准化的数据平台能力。 工作内容： 1. 负责商家数据中心的设计、开发与持续迭代优化（基于离线/实时数仓）； 2. 深入参与OneService平台的设计与研发，包括但不限于语义层建模、查询引擎对接、API服务开发、权限管理等核心模块； 3. 负责指标维度管理系统的设计与实现，支持指标的定义、血缘、变更、生命周期管理等功能； 4. 基于Spark/Flink等计算引擎进行数据处理、加工与分析，构建高效、稳定的数据链路； 5. 应用OLAP技术（如Doris, ClickHouse, Kylin等）优化海量数据查询性能，并根据业务场景进行技术选型和实践； 6. 参与数据服务相关在线系统的架构设计与开发，保障服务的高可用和高性能。
1、为公司 AI 和 BI 业务场景提供 data engineering 能力，包括可灵、商业化、电商、主站等业务；既支持结构化数据、也支持多模态数据； 2、团队有超过一半的 Apache Committer / PMC（Hudi / Paimon / Amoro / Flink/ RocketMQ），与开源社区紧密合作，持续构建开源影响力，有机会成长为 Apache Committer / PMC； 3、打造行业领先的数据湖服务，提供高效、极简的EB级数据存储与处理能力。推进快手数据体系的全面的湖仓化； 4、跟进学术界，工业界成熟的经验与技术，规划与推进快手数据体系的不断演进与迭代。
1、主要负责快手数据平台系统质量相关测试，包括业务功能测试、工具开发等等； 2、参与团队工程化体系的搭建和治理，优化系统性能，保障系统的可用性、稳定性、扩展性等； 3、对线上问题进行持续追踪，积极推进，并从中得出一些优化监控、测试方案提升等改进措施； 4、对产品提出改进建议以建立极致的用户感受，对项目提出改进建议以提高项目整体效率。
负责 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等大数据集群的规划、部署与算力调优，保障集群 7×24 小时稳定运行。 负责集群日常运维、性能调优、容量规划、故障排查与问题根治，保障服务达成 SLA 指标。 负责大数据开源组件二次封装、功能迭代与漏洞修复，搭建通用工具与服务，赋能数据平台建设。 为数据分析团队提供底层技术支撑，协助解决平台使用过程中各类复杂技术问题。算机、软件工程、数学等相关专业，本科及以上学历，拥有 3 年及以上大数据研发相关工作经验。 具备中大型集群（PB 级数据量或 50~100 节点规模）整体规划、搭建与优化实战经验。 有 Hadoop、Spark、Hive、Presto 等开源框架源码修改、二次开发经验者优先。 精通 Hadoop、Spark、Hive、HBase、Presto、Flink、ClickHouse 等主流大数据生态组件。 熟练使用 Java、Python、Shell 进行开发，精通 HiveSQL 性能调优。 可独立完成需求分析、技术选型，能够设计高可用、高可扩展的大数据解决方案。 具备钻研精神与自驱力，沟通表达良好，拥有较强的抗压能力及集群应急处置能力。 具备 AI 开发能力，熟练使用主流 AI 编程提效工具（如 Codex、CodeCopilot 等）。 拥有大数据场景下大模型 Agent 设计、开发及项目落地经验者优先。 了解或掌握机器学习算法底层原理者优先。 ## Key Responsibilities * Design, deploy, optimize, and maintain large-scale big data clusters based on technologies such as Hadoop, Spark, Hive, HBase, Presto, Flink, and ClickHouse. * Ensure 24×7 stability, reliability, and performance of production data platforms through proactive monitoring, capacity planning, and performance tuning. * Troubleshoot complex system issues, conduct root cause analysis, and implement long-term solutions to meet SLA requirements. * Develop and enhance internal platform capabilities through customization, secondary development, feature enhancements, and bug fixes of open-source big data components. * Build reusable tools, frameworks, and platform services to improve engineering efficiency and support data platform evolution. * Provide technical guidance and infrastructure support for data analysts, data engineers, and business teams, helping resolve complex platform-related challenges. * Participate in architecture design, technology evaluation, and best-practice establishment for enterprise-scale data platforms. ##
1、负责公司游戏业务数据分析产品的底层大数据架构和开发，并基于大数据对业务提供深入有效的支持； 2、负责游戏业务数据的清洗、计算和存储。海量数据离线分析和实时分析系统的开发和维护； 3、满足业务方的数据需求，提供面向业务的OLAP、报表、数据提取等不同维度的数据服务； 4、基于Hadoop/Hive/Hbase进行数据的离线计算； 5、参与调研前沿技术。