logo of dewu

得物大数据引擎研发专家

社招全职2年以上技术类地点:上海 | 杭州状态:招聘

任职要求


1、【工程能力】扎实的计算机基础和算法数据结构功底,精通Java/Scala语言,如并发编程和JVM、常见设计模式,追求高标准的工程质量,具备优秀的Debug/Profiling能力;
2、【领域能力】在大数据离线计算领域2年以上的研发经验,大数据领域5年以上研发经验,有研发过Spark…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1、【引擎研发】负责Spark、Presto、Hive 为基础的大数据查询引擎内核研发,跟进社区版本,改进性能,提升稳定性,研发新功能,修复内核BUG;
2、【业务支撑】负责排查、定位、解决生产集群问题,与运维同学一起维护生产集群的稳定性,协助业务方一起使用好大数据平台;
3、【平台规划】参与规划公司计算平台的技术演技,提升计算平台湖仓能力,基于云IAAS或者自建IAAS,打造高稳定性、高性能、低成本的计算平台。
包括英文材料
算法+
数据结构+
Java+
Scala+
JVM+
还有更多 •••
相关职位

logo of xiaohongshu
社招3-5年数据引擎

1、参与小红书Spark离线引擎的研发工作,支撑小红书云原生大规模离线数据处理场景,包括数据仓库、机器学习等场景,提升离线处理引擎的性能和稳定性 2、参与小红书Spark Native Engine 和 Serverless Spark 架构的研发工作,提升任务时效性,同时利用离在线混部降低资源成本 3、参与统一元数据工作,为小红书算法AI团队管理非结构化数据,提供统一访问方式,简化算法数据开发链路,并进行数据治理

更新于 2025-08-22上海|北京|杭州
logo of kuaishou
社招D7195

1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。

更新于 2025-03-07北京
logo of kuaishou
社招D7195

1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。

更新于 2025-03-07杭州
logo of kuaishou
社招3-5年D7195

1、参与快手EB级大数据平台计算引擎相关系统的研发与优化工作,解决实际业务需求与性能问题; 2、接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升; 3、和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。

更新于 2025-12-05北京