收钱吧【26校招】数仓开发工程师(J11170)
任职要求
1.对这个岗位要有足够的热情和好奇；985/211/双一流高校优先； 2.有数仓相关实习经验者优先，有MaxCompute产品使用经验更佳； 3.理解MapReduce原理、Hive原理；精通SQL基本语法，熟练掌握MySQL，至少熟悉一款市面上主流的离线数仓产品工具； 4.有数据治理经验加分，或者深入看过《大数据之路》加分； 5.性格开朗、有耐心，抗压力强。
工作职责
1.负责业务数据建模与数据仓库任务开发，搭建贴合业务场景的数据架构，支撑数据高效流转与深度应用； 2.主导数据治理体系构建与指标口径标准化管理，保障数据质量可靠、口径统一，为业务决策提供可信数据基础； 3.开展数据集开发工作，基于业务需求提炼高质量数据资产，赋能业务场景快速调用与数据分析应用。
1、参与数据需求的分析，开发及交付工作，协助客户优化业务，提升效率，驱动增长； 2、参与公司统一数仓平台的模型设计， 研发及优化工作，助力企业数据价值挖掘与数据资产变现； 3、落实公司数据治理的相关流程与规范要求，为平台数据产出及时性、准确性、一致性提供支持与保障。
1. 自动驾驶数据建模 - 设计多源异构数据的数仓分层模型（ODS/DWD/DWS/ADS），支撑感知、预测等算法训练； - 设计支持相似性检索的数仓分层（ADS层集成VectorDB特性）； - 构建数据血缘与元数据管理体系，保障数据可追溯性； - 构建多模态数据的统一向量化标准（图像/点云/文本的Embedding规范）。 2. 大规模数据处理开发 - 开发高可靠ETL流程，处理车载传感器原始数据（摄像头/LiDAR/GPS等）； - 基于Spark/Flink优化数据清洗、转换、聚合任务，提升云端处理效能； - 开发多模态Embedding流水线（CV/NLP模型的分布式特征提取）； - 基于VLM（视觉语言模型）自动生成数据标签（替代人工标注）； - 构建驾驶场景语义索引系统（支持“极端天气”“危险变道”等语义检索）。 3. 分析平台建设 - 搭建数据湖仓一体架构（Paimon/Iceberg + Doris/StarRocks）； - 搭建海量特征向量数据库（Milvus/Pinecone/自研引擎）； - 开发BI可视化看板，监控数据质量及自动驾驶关键指标（生产折损率，感知准确率、干预率等）； - 开发多模态检索接口（如根据文本描述搜索关联驾驶场景视频）。 4. 效率优化 - 持续优化数据存储成本与计算性能（分区策略/压缩算法/计算资源调度）； - 探索弹性伸缩，流批一体，存算分离等架构在实时数据处理场景的应用。
1. 参与数据模型体系构建及数据主题设计和开发，搭建离线、实时数据仓库，负责ETL开发、优化与维护； 2. 参与各业务模块的数仓项目，与数据分析师配合，与需求部门进行有效沟通，完成数据需求及数据问题解决； 3. 按照项目标准和流程进行数据开发，确保数据处理质量和效率，发现潜在问题并协助团队制定改进措施； 4. 完成日常数据质量监控，跟踪处理各类数据质量问题； 5. 协助部门推进其他与数据仓库相关的工作。
1、深入理解业务模式，相应做出财务核算方案的判断和设计，并跟随业务的变化进行动态调整； 2、以业务数据作为起点，以AGI工具为支撑，跑通从业务数据→搭建财务数仓→指标/口径梳理→会计引擎解读→形成入账分录的端到端作业链路，亲手主导实现0-1的业财一体化建设； 3、在理解和熟悉现有作业链路的基础上，必要时设计新的workflow，达到显著的核算提效效果。