哔哩哔哩大数据平台工具研发工程师（数据质量方向）
任职要求
任职要求： 1. 熟练掌握Java技术栈，熟悉Spring Boot、MyBatis等框架，具备JVM调优、多线程开发经验。 2. 扎实的计算机基础：数据结构、算法、操作系统、网络原理。 3. 熟悉大数据生态（Hadoop/Spark/Flink/Hive/Kafka/Presto等），有使用或开发经…
工作职责
工作职责： 1. 负责大数据质量工具（DQC、基线、质量监控、任务运维等）的设计、开发和迭代优化，构建高可用、高性能的数据质量服务。 2. 深入理解业务需求，完善数据质量问题发现、诊断、处理、复盘能力，推动数据质量工具与业务场景的深度融合，协同上下游团队解决数据一致性、准确性、时效性等质量问题 3. 参与制定数据质量评估标准、准入标准，完善数据治理体系。
1.负责面向图文、视频、账号等多种内容载体的大规模数据接入、特征计算、数据存储和发布平台； 2.通过数据工程技术规范化建设：推动提升数据质量、提升pipeline稳定性、提升平台易用性，提升系统在大规模分布式环境下高并发的处理性能，同时沉淀通用方案和平台工具，提升数据研发效率； 3.支持搜索场景下各类数据特征的处理需求，跟进和引入业界最新技术，打造业界领先的离线数据流架构。
1.数据仓库的建设、组织和管理，沉淀数据资产； 2.数据建设过程的各项工具研发，如数据安全、数据质量、数据开发的工具链等； 3.数据应用的研发，如商业智能、挖掘、分析报告、数据可视化等； 4.其他服务于业务各环节的数据运营工作。
1、负责自动驾驶数据闭环相关的平台研发工作，制定数据挖掘方案，计划并实施，保证数据质量和闭环效果，为线上模型迭代提供数据支持； 2、负责数据闭环的标定平台、模型部署平台研发工作，通过数据及算法挖掘传感器标定异常，提前发现问题以及风险前置； 3、基于海量自动驾驶场景和行为，科学地管理自动驾驶用户数据和已挖掘的算法问题，研究和设计自动驾驶各算法高效发现问题和利用数据的方案。与算法研发工程师合作，通过数据驱动的方式挖掘自动驾驶算法需要关注的关键场景和高价值数据，参与算法迭代； 4、负责自动驾驶数据闭环相关的策略研发工作，制定项目挖掘方案，计划并实施，保证数据质量和闭环效果。设计和开发挖掘策略/算法/工具，为感知算法任务提供研发迭代需要的数据，支持数据转化为驾驶能力； 5、综合车端的感知、规控、地图、车辆状态等信息，利用大数据技术（如 Flink、Spark）对各种异常 case 进行识别和自动化归因算法开发； 6.负责推进自动驾驶用户数据闭环平台构建、优化，确保闭环科学地、稳定地、高效地运转。基于数据湖技术（如 Hadoop、HDFS、Delta Lake 等）构建高效的数据存储、处理和分析平台。
1.负责小米互联网电视和视频等业务数据仓库架构设计、标准化埋点、数据建模和ETL开发； 2.参与数据治理工作，提升数据易用性及数据质量，与数据平台团队紧密合作； 3.理解并合理抽象业务需求，解决服务的业务问题，与业务团队紧密合作； 4.跟踪业界先进的数据相关技术栈和解决方案。