小红书Spark数据引擎研发专家
任职要求
任职资格 1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查； 2、掌握 Java/C++/Python 至少一门编程语言，…
工作职责
1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理； 2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障；
团队使命： 作为网约车交易市场技术核心团队，我们应用机器学习、运筹优化、因果推断、深度强化学习及生成式AI技术（LLM） ，构建支撑千万级日订单的动态双边市场智能决策系统。通过供需预测建模、动态定价策略、智能补贴分配、生态治理引擎 等策略引擎建设，持续优化平台商业价值与司乘体验，驱动全球领先的出行市场效率革新。 供需调节策略方向的主要工作： - 负责设计研发面向司乘双边市场的动态定价和跨品类联合补贴策略引擎，涉及的技术方向包括：精细化的时空供需预测建模、针对海量数据的细粒度因果建模、大规模运筹优化与求解算法设计、大规模离线仿真系统设计与研发等。 - 负责设计研发面向用户长期增长的智能增长营销策略引擎，构建可持续优化的收益管理与增长引擎系统，涉及的技术方向包括：长周期用户价值（LTV）建模、基于强化学习的序列化决策模型设计、大规模运筹优化与收益管理系统设计等。 - 负责设计研发面向供需调节和用户增长的智能运营系统，构建面向多目标高度封装的全自动智能化的运营引擎，助力网约车业务精细化运营提效。涉及的技术方向包括：不同粒度、周期的时序预测建模、大规模运筹优化求解算法、支持深度人机结合的工业化运营引擎架构。 - 负责设计研发面向网约车交易场景的司乘生态治理引擎，构建面向不同品类业务特点的判责、治理策略系统，涉及技术包括：多模态深度学习建模、大语言模型技术、原子预测和小样本学习等技术。
1. 负责SQL引擎核心优化，深入理解线上业务SQL使用方式，关注业界通用Benchmark，分析性能瓶颈并针对性改进等。 2. 负责SQL引擎增量计算能力演进，打造业界领先的增量计算产品 3. 负责MC智能数仓的开发和能力建设，提升MC整体的性价比和易用性 4. 支持SQL引擎线上业务，包括疑难问题答疑、线上稳定性改进、提升系统可观测性及用户使用体验等。
1. 负责阿里云大数据开发治理平台DataWorks的产品规划、设计以及落地，重点在数据ETL产品工具链及“Data+AI”方向； 2. 调研各行业用户需求和国内外同类产品，提炼和规划产品迭代计划； 3. 负责产品商业模式设计与GTM，支持业务团队完成业务目标； 4. 负责产品布道，包括内外部培训，市场活动，数据分析等。关注用户反馈，分析用户行为，进行产品用户体验的持续优化。
1. 负责MCQA2.0性能优化和稳定性提升，提升MaxCompute在中小数据规模下的竞争力。 2. 负责SQL引擎核心优化，深入理解线上业务SQL使用方式，关注业界通用Benchmark，分析性能瓶颈并针对性改进等。 3. 负责SQL引擎控制链路的架构演进和持续优化（全链路 Cache、异步化改造等），提升性能及稳定性。 4. 探索SQL引擎新硬件（GPU、FPGA等）适配，为MaxCompute提供更高性价比硬件资源。 5. 支持SQL引擎线上业务，包括疑难问题答疑、线上稳定性改进、提升系统可观测性及用户使用体验等。