网易OLAP引擎开发工程师(Doris方向)
任职要求
1、3年以上数据平台相关开发经验,计算机等相关专业本科以上学历,熟悉大数据完整处理流程,了解大数据平台常用技术架构以及相关常用的开源项目; 2、熟悉C++/Java等编程语言,熟悉系统结构原理,熟练掌握多线程编程、网络编程、高并发高性能调优等技术; 3、熟悉Spark/Flink/Hive/Doris/StarRocks/ClickHouse等大数据常用开发框架的使用和优化, 熟悉 Doris 优先; 4、熟悉常见数据处理相关问题定位,有较强的Troubleshooting能力和系统优化能力; 5、有较强的责任心和自我驱动力,良好的沟通表达能力和小组协作能力,快速学习能力,能够承受周期性的项目开发以及运维压力; 6、有PB级数据实时和离线数据处理任务开发和运维的经验者优先、有相关开源项目贡献经验者优先。
工作职责
参与网易云音乐内部以及网易集团OLAP平台建设和落地工作,工作包含但不限于以下几点: 1、负责OLAP引擎 Doris 服务的研发、维护和优化工作; 2、负责OLAP周围生态体系建设工作,如实时离线场景下数据的导入导出、监控告警体系等; 3、负责OLAP相关业务场景落地,根据不同业务场景提供匹配到解决方案。
岗位职责: - 参与小红书商业化数据产品开发工作,业务方向包括但不限于销售业绩、客户分析、代理商盯盘等 - 与产品、运营、后端、测试、运维等多角色协同工作,包括业务理解,需求评审,方案沟通,系统维护等 - 设计并实现高效、可扩展的数据架构,确保系统能够支持复杂的业务逻辑和大数据量处理,持续提升交付质量和效率 - 负责复杂数据链路架构、稳定性、成本、性能等方面的优化工作,保障线上服务运行稳定,资源使用合理
1、负责境外财务数据仓库的架构、设计、智能化应用探索, 包括但不限于在线多维分析、数据分析与决策、预测算法模型、数据存储、数据服务、数据质量、数据产品等能力设计与研发等,并结合大模型进行数据检索及分析新形态落地; 2、负责数据产品建设,为财务日常运营、财务管理等提供稳定的数据支持; 3、负责数据服务建设,提供稳定、可靠的数据服务,支撑业务系统迭代;
1、负责部门用户增长业务的实时数据系统建设的规划、设计及落地,为业务团队提供高效的实时、离线数据支持; 2、负责部门业务中增长方向实时数据集市研发及实时数据指标开发; 3、负责实时数据计算和数据服务的性能优化建设,提供稳定的业务实时数据服务。
团队介绍: 小鹏汽车自动驾驶的大数据方向,负责所有自动驾驶数据的云端处理,为自动驾驶业务提供高性能,高质量的数据加工,保证整个数据生产的稳定性,及时性,高可用。 1. 负责自动驾驶大数据多模态(如视频、图像、雷达信号等)湖仓平台的架构设计、开发与建设,包括数据处理、资源调度、算子管理、部署服务等;负责数据采集、清洗、转换和加载(ETL)流程的开发,处理多源异构数据 2. 基于大数据多模态湖仓平台,协助客户处理生产业务中的海量数据,解决疑难问题,支持百亿级自动驾驶感知和全栈数据的快速定位和分析,赋能上层业务发展。 3. 协助设计和优化数据仓库模型,参与数据治理工作(如数据质量核查、元数据管理等) 4. 负责自动驾驶离线和实时数据仓库的构建和性能优化;负责车端信号数据仓库体系和数据指标体系的架构设计与开发,为算法和数据闭环提供框架支持; 5. 调优分布式计算引擎(Spark/Flink/Presto)及存储系统(HDFS/OSS),构建OLAP引擎(Doris/StarRocks),解决海量数据场景下的资源瓶颈。 6. 跟踪Iceberg、Paimon、Flink、Spark、Lance等开源技术演进,主导关键组件二次开发或源码级优化;负责前沿技术的跟踪研究,工具链的选型测试,解决、攻克数据平台的核心技术难题。 7. 建立监控和反馈指标,持续优化改进产品的架构及性能,保证PB级数仓的数据质量和平台稳定性。