小红书数据引擎开发工程师
任职要求
1. 26年毕业同学，计算机相关专业，基础扎实，对新技术有强烈的学习热情 2. 有大数据相关框架/工具经验者优先，e.g. Hadoop, Hive, Spark, Flink, Kafka等 3. 实习期间无特殊情况每周全勤，实习期至少6个月
工作职责
【业务介绍】 数据引擎是大数据Infra团队，提供大数据存储、计算、平台基础能力，支持EB级别数据的实时集成、开发加工、消费使用的全链路数据解决方案。 【职位描述】 1. 负责大数据计算引擎以及数据平台的研发工作，支撑公司内社区、电商以及商业化业务； 2. 面向PB级海量数据的解决方案设计，处理每日千亿级增量的用户行为数据； 3. 通过提供优秀的引擎和平台产品，配合数据产品及数据仓库团队，建设高效的数据研发体系，提供高效稳定的数据服务，降低数据的使用门槛，实现数据的最大价值。
1. 参与携程酒店核心搜索业务的架构设计优化及功能开发，如全文检索引擎、数据引擎，保障系统的高可用、高吞吐、低延迟。 2. 参与携程酒店搜索平台系统的架构设计和开发，为业务提供灵活、稳定、高效的解决方案。 3. 跟进项目进度，接口规范制定，技术文档编写，确保项目进度和质量。针对搜索的业务现状，探索和创新搜索技术。
团队介绍：数据平台是字节跳动数据中台部门，为公司多业务线（包括抖音、电商、直播和生活服务等）提供一站式大数据解决方案，涵盖数据的生产、清洗、传输、建模、分析等全流程链路，提供数据开发、实验评估、画像标签、增强分析等多元场景解决能力。同时，数据平台部门也致力于把字节跳动积累沉淀的数据中台解决方案做商业化输出，让更多行业能够应用我们的产品能力构建自己的数据中台。在火山引擎上，我们提供了营销增长套件，数据中台等相关产品解决方案，为泛互联网、金融、汽车、新零售等行业提供了行业解决方案。 1、打造业界PB级OLAP引擎，支撑字节跳动主要产品线（如抖音、今日头条）的ETL、湖仓分析场景等； 2、参与以Spark、Doris、Presto、Ray、Lance等为代表的大数据引擎内核优化； 3、打造基于高并发大流量业务场景的大数据查询服务、任务调度系统、异构数据湖统一元数据服务及权限管理服务的设计和研发； 4、参与字节跳动数据引擎的架构设计、业务场景支持、性能优化与降本、稳定性提升。
1、地图客户端数据引擎的开发与维护； 2、数据引擎架构升级、I/O性能优化； 3、数据读取相关需求开发。
1、核心引擎开发：使用 C++ 开发高性能、低延迟的实时数据筛选引擎； 2、ROS2 集成：基于 ROS2 框架，开发节点 (Node) 以订阅（Subscribe）来自不同传感器和自动驾驶模块的 Topic 数据流； 3、筛选规则设计：设计并实现灵活、可配置的筛选器规则系统，能够基于多源数据（如目标检测结果、车道线信息、车辆状态等）进行复杂逻辑判断； 4、低代码脚本桥接：负责 C++ 引擎与低代码脚本的无缝桥接，使算法工程师或数据科学家能够通过编写脚本来定义和动态加载筛选触发逻辑，实现 “代码即规则” 的灵活模式； 5、触发与录制：实现筛选器的触发机制，当满足预设规则时，精确触发并控制数据录制模块，只保存有价值的关键数据片段； 6、系统优化：持续优化系统性能，包括 CPU 占用率、内存使用和数据处理延迟，确保在嵌入式环境下稳定可靠运行； 7、调试与测试：进行单元测试、集成测试和现场调试，解决开发和部署过程中的技术问题； 8、文档编写：编写清晰、规范的技术设计文档、API 文档和用户手册。