百度数据仓库研发工程师（J84128）
任职要求
-熟悉云原生实时数仓系统原理，掌握相关技术概念，包括SQL解析规划器，查询优化器，单机执行引擎，资源调度，列式存储等 -熟练掌握C++/Java等编程语言，熟悉数据结构和算法等基础知识，熟悉Do…
工作职责
-负责Doris云产品核心引擎的研发及优化 -负责Doris云产品管控服务及运维功能的研发 -保障Doris集群服务稳定性 -支持集团内外部Doris用户使用及调优工作
1. 深入理解滴滴海外业务模式、流程和系统架构，和相关产品技术、业务运营高效沟通，设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台，设计、开发和维护高效、可扩展的大数据处理系统，以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型（如 ODS、DWD、DWS、ADS 分层），支持实时报表、监控和风控等场景。 3. 对多源异构数据（日志、事件消息、API、爬虫数据等）进行清洗、解析和结构化处理，提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题，提升数据质量。与数据开发、算法、业务团队协作，理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具，不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率（如 Flink 任务调优、Kafka 分区策略调整）。 5. 国际化安全反作弊技术团队其他开发工作。
1. 深入理解滴滴海外业务模式、流程和系统架构，和相关产品技术、业务运营高效沟通，设计合理的数据仓库架构。 2. 充分利用滴滴现有的各种数据仓库及反作弊处理平台，设计、开发和维护高效、可扩展的大数据处理系统，以支持安全反作弊业务的数据驱动决策和业务发展。设计并优化离线/实时数仓模型（如 ODS、DWD、DWS、ADS 分层），支持实时报表、监控和风控等场景。 3. 对多源异构数据（日志、事件消息、API、爬虫数据等）进行清洗、解析和结构化处理，提取关键业务信息。解决数据清洗中的 脏数据、格式混乱、缺失值、重复数据 等问题，提升数据质量。与数据开发、算法、业务团队协作，理解需求并构建高效的数据处理流程。 4. 跟踪大数据领域的新技术、新工具，不断探索并引入以提升团队的技术能力和项目效率。优化流式计算任务的 资源利用率（如 Flink 任务调优、Kafka 分区策略调整）。 5. 国际化安全反作弊技术团队其他开发工作。
1、负责数据中台-商业化各个业务线数据仓库建设，构建商业化垂直数据集市； 2、定义并开发业务核心指标数据，负责垂直业务数据建模，如用户画像； 3、根据具体问题，设计并实现合适的可视化展示，构建数据持续观测平台； 4、参与数据平台的搭建，优化数据处理流程具体工作； 5、数据收集，反作弊数据仓库，用户数据仓库，UGC数据仓库，审核数据仓库的研发； 6、A/B测试实时ETL研发，转化漏斗分析平台研发。
1. 熟练利用LLM、机器学习等AI工具，对多端海量数据进行清洗、分析与特征挖掘，敏锐捕捉潜在的爬虫及自动化行为。 2. 参与从“风险发现 -> 策略制定 -> 工程开发 -> 上线拦截”的端到端攻防闭环，针对平台的恶意抓取、接口滥用等行为制定可落地的方案。 3. 承担风控策略和安全工具的全栈开发任务，包括但不限于数据研发、后端风控服务化部署、前端探针接入以及监控报警大盘的建设等。 4. 探索并跟进最新的AI生产力工具，将其深度应用在日常代码编写、逆向分析辅助、自动化脚本编写中，大幅提升团队整体的安全攻防效能。