汽车之家实时计算引擎高级工程师
任职要求
1、 学历与专业：本科及以上学历，计算机科学、信息技术、数学等相关专业。 2、工作经验：拥有 6 年以上大数据平台建设经验。 3、技术能力： 编程能力：精通 Java 或 Golang，熟悉Python语言，深入理解语言核心特性、内存模型、并发编程模式，具备高性能代码调优能力和排查复杂线上问题的经验。 架构能力：深入理解分布式系统原理，能在设计中应用容错机制、分片策略、负载均衡、高可用设计等。 大数据技术：深度掌握大数据生态，精通 Hadoop/F…
工作职责
1、开发维护实时湖仓引擎（Flink、Paimon），建设平台化能力，攻克在高并发、低延迟、海量数据处理等方面的关键技术难题，保障公司业务稳定高效运行。 2、规划构建一体化的 Data + AI 计算平台，实现数据与 AI 的深度融合，提升数据开发效率和数据价值。 3、结合技术发展趋势与业务需求，主导技术选型及技术路线规划，推动大数据平台能力达到行业领先水平。
1.负责构建基于Kubernetes的云原生分布式计算平台，支撑离线计算、实时流处理等多场景需求，实现计算资源的弹性伸缩与高效调度； 2.解决数仓生产场景下业务规模增长带来的引擎扩展性问题，通过优化Shuffle服务、向量化执行引擎以及内核改造，支撑每天百万级Spark Job，EB级数据处理，单作业百TB Shuffle，不断提升生产引擎稳定性和扩展性，保障核心数据的稳定产出； 3.综合调度、引擎层内核改造优化等多种技术方案持续提升计算效率，降低计算成本； 4.设计并实现云原生环境下的弹性扩缩容策略，结合K8s编排能力与计算引擎特性，应对流量洪峰与资源碎片化挑战。
1、负责滴滴 Flink 引擎的完善和优化，从实时性、稳定性、性能和功能等多方面进行架构设计和实现 2、深入理解业务，发现用户对于实时的需求痛点，帮助业务解决问题的同时从中提炼出通用和潜在需求，用于指导规划 3、规划实时计算及实时数据湖等产品技术方向，培养发展技术团队
1、负责滴滴Flink引擎及平台的完善和优化，从稳定性、性能和功能等多方面进行架构设计和实现 2、深入理解业务，发现用户对于实时的需求痛点，帮助业务解决问题的同时从中提炼出通用和潜在需求，用于指导规划 3、规划实时计算及实时数据湖等产品技术方向，培养发展技术团队
● 利用深度学习/机器学习/大模型在内的算法能力解决和攻坚国际质量风险领域的技术难题 ● 结合大模型与Agent技术，构建智能化风险平台（如智能攻防、核对规则挖掘、工单问答等），提升质量风险能力。 ● 搭建高扩展性的大规模数据处理与特征工程框架，支持Agent系统所需的实时数据流处理、多模态数据融合与低延迟推理； ● 对技术有较强的钻研及学习精神，能够深入了解开源技术、现有系统技术等相关技术原理，出现问题时能够通过较强的技术手段较好的解决问题。