logo of bilibili

哔哩哔哩大数据平台工具研发工程师(数据质量方向)

社招全职技术类地点:上海状态:招聘

任职要求


任职要求:
1. 熟练掌握Java技术栈,熟悉Spring BootMyBatis等框架,具备JVM调优、多线程开发经验。
2. 扎实的计算机基础:数据结构算法、操作系统、网络原理。
3. 熟悉大数据生态(Hadoop/Spark/Flink/Hive/Kafka/Presto等),有使用或开发经验优先。
4. 有数据平台相关的开发经验,了解数据开发调度、数据集成、数据治理、元数据管理、血缘分析、等核心模块,主导或深度参与过数据质量领域(DQC、基线监控等)建设经验者加分
5. 优秀的沟通协作能力,能快速理解业务痛点并转化为技术解决方案。具备较强的逻辑思维和问题拆解能力,对技术落地有强烈责任心。

工作职责


工作职责:
1. 负责大数据质量工具(DQC、基线、质量监控、任务运维等)的设计、开发和迭代优化,构建高可用、高性能的数据质量服务。
2. 深入理解业务需求,完善数据质量问题发现、诊断、处理、复盘能力,推动数据质量工具与业务场景的深度融合,协同上下游团队解决数据一致性、准确性、时效性等质量问题
3. 参与制定数据质量评估标准、准入标准,完善数据治理体系。
包括英文材料
Java+
Spring Boot+
MyBatis+
JVM+
多线程+
数据结构+
算法+
大数据+
Hadoop+
Spark+
Hive+
Kafka+
Presto+
数据治理+
相关职位

logo of tencent
社招2年以上CSIG技术

1.负责元宝业务的离线和实时数仓规划和建设,结合数据、技术与应用等多方特性,构建高可用、易扩展的数仓体系,高效满足业务用数诉求; 2.负责建立数仓与数据质量标准和规范,确定数据治理方案,并与内外部团队协作,推动落地实施,不断提升数据质量,确保数据及时、准确与稳定性; 3.不断优化数仓模型,抽象总结并沉淀通用方案与平台工具能力,提升研发与用户用数效率。

更新于 2025-08-01
logo of tencent
社招1年以上搜一搜技术

1.负责面向图文、视频、账号等多种内容载体的大规模数据接入、特征计算、数据存储和发布平台; 2.通过数据工程技术规范化建设:推动提升数据质量、提升pipeline稳定性、提升平台易用性,提升系统在大规模分布式环境下高并发的处理性能,同时沉淀通用方案和平台工具,提升数据研发效率; 3.支持搜索场景下各类数据特征的处理需求,跟进和引入业界最新技术,打造业界领先的离线数据流架构。

更新于 2025-08-20
logo of meituan
校招核心本地商业-业

1.数据仓库的建设、组织和管理,沉淀数据资产; 2.数据建设过程的各项工具研发,如数据安全、数据质量、数据开发的工具链等; 3.数据应用的研发,如商业智能、挖掘、分析报告、数据可视化等; 4.其他服务于业务各环节的数据运营工作。

更新于 2025-02-26
logo of jd
社招1年以上数据开发岗

1、负责自动驾驶数据闭环相关的平台研发工作,制定数据挖掘方案,计划并实施,保证数据质量和闭环效果,为线上模型迭代提供数据支持; 2、负责数据闭环的标定平台、模型部署平台研发工作,通过数据及算法挖掘传感器标定异常,提前发现问题以及风险前置; 3、基于海量自动驾驶场景和行为,科学地管理自动驾驶用户数据和已挖掘的算法问题,研究和设计自动驾驶各算法高效发现问题和利用数据的方案。与算法研发工程师合作,通过数据驱动的方式挖掘自动驾驶算法需要关注的关键场景和高价值数据,参与算法迭代; 4、负责自动驾驶数据闭环相关的策略研发工作,制定项目挖掘方案,计划并实施,保证数据质量和闭环效果。设计和开发挖掘策略/算法/工具,为感知算法任务提供研发迭代需要的数据,支持数据转化为驾驶能力; 5、综合车端的感知、规控、地图、车辆状态等信息,利用大数据技术(如 Flink、Spark)对各种异常 case 进行识别和自动化归因算法开发; 6.负责推进自动驾驶用户数据闭环平台构建、优化,确保闭环科学地、稳定地、高效地运转。基于数据湖技术(如 Hadoop、HDFS、Delta Lake 等)构建高效的数据存储、处理和分析平台。

更新于 2025-06-09