logo of amap

高德地图高德-离线流架构开发高级工程师/专家-信息工程团队

社招全职5年以上技术类-开发地点:北京状态:招聘

任职要求


1. 精通Flink流处理框架,熟悉一种或者多种大数据生态技术(Kafka/Hbase/Spark/Storm/Hadoop/Flume等),有大规模分布式系统开发经验;
2. 熟悉linux平台,精通java、sql语言,了解python、c++,具有良好的编程…
登录查看完整任职要求
微信扫码,1秒登录

工作职责


1. 负责实时流处理系统架构设计,构建高可用、低延迟的分布式数据处理平台;
2. 制定系统性能优化方案,确保数据在高吞吐下的稳定运行;
3. 对接业务部门需求,提供数据驱动的业务解决方案和技术支持,主导数据处理业务逻辑开发,进行业务架构抽象,通过技术、平台降低数据生产成本;
4. 编写系统设计文档和技术规范,主导核心模块代码开发;
包括英文材料
大数据+
Kafka+
HBase+
Spark+
Hadoop+
分布式系统+
还有更多 •••
相关职位

logo of bytedance
社招A207927

团队介绍:字节跳动推荐架构团队,负责字节跳动旗下相关产品的推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能。 1、负责字节跳动旗下相关产品的推荐架构工作,解决推荐核心系统的架构优化问题; 2、针对推荐场景的架构抽象和流程优化,支持大规模的机器学习的优化,支持推荐平台的研发; 3、针对高并发高吞吐的大规模系统,提升系统的稳定性、性能、可扩展性; 4、核心组件的研发和优化、新技术的应用和落地。

更新于 2025-02-14北京
logo of antgroup
社招5年以上LB技术-数据

职位概述: 在Kubernetes调度器领域拥有5年以上深度开发经验的高级工程师。将专注于CPU密集型数据处理任务与机器人数据流处理的调度优化,设计并实现面向大规模CPU集群的高效调度策略。深入理解数据处理工作负载的特点,构建能够满足低延迟、高吞吐需求的调度系统,为我们的机器人数据平台提供稳定、高效的调度能力。将调度理论与实际业务场景深度结合,解决生产环境中的复杂调度挑战。 核心职责: 1.主导面向CPU密集型数据处理任务(如机器人感知数据、图像处理)的Kubernetes调度器定制与优化; 2.设计并实现针对流式数据处理流水线的任务调度策略,优化任务启动延迟和数据局部性; 3.开发基于优先级、任务依赖关系和工作负载特征的智能调度插件; 4.优化大规模CPU集群的资源利用率; 5.实现数据感知调度机制,将计算任务调度到数据所在节点或区域,减少数据传输开销; 6.为机器人数据处理流水线设计任务抢占与优先级调度策略,确保高优先级任务的服务质量; 7.构建调度策略仿真与评估系统,对调度算法进行离线测试与验证; 8.与数据平台团队合作,将调度策略与数据处理框架(如Apache Flink、Spark Streaming、Ray)深度集成。

更新于 2025-12-23上海
logo of shein
社招8年以上信息技术类

资深Java/架构师 - 平台治理策略 【】 负责构建和优化支撑全球电商业务健康、安全、合规的核心治理平台。技术决策将直接影响平台商品质量、商家合规水平、消费者信任和整体营商环境。 【核心职责】 1、平台治理中台架构设计:负责平台治理领域(不限于商品质检、资质合规、风险处置、商家体验等)的业务中台与数据中台架构设计,实现高内聚、低耦合的系统解耦。规划和设计可扩展、高可用的治理核心系统,包括但不限于规则引擎、工作流引擎、任务调度平台、实时/离线风控系统。 2、核心系统研发与攻坚:主导不限于商品信息治理系统、实物质检履约系统、商家合规证书管理平台、处置与处罚系统的架构设计与技术难点攻关,构建一体化的商家体验平台,包括申诉、咨询、任务中心,提升商家满意度和运营效率。 3、技术与创新驱动:引入大数据、机器学习等技术,提升平台在图片/文本识别、风险商家挖掘、智能质检等方面的自动化能力和准确率。优化海量数据(商品、订单、行为日志)下的实时计算与批量处理性能,保障系统在亿级流量下的稳定与低延迟。 4、团队与标准建设:制定团队技术规范、代码规范,主导核心代码的编写与评审。培养和指导高级工程师,提升整个团队的技术设计和架构能力。

更新于 2026-03-27深圳|南京|上海
logo of antgroup
社招3年以上技术类-质量保证

1.按照产品架构及业务要求,制定和推进端内可测性能力的开发建设; 2.参与产品系统架构建设和规划,进行风险评估,解决设计的可测性及保障系统的稳定性; 3.主导质量风险工具平台的开发,包括系统架构设计,系分,开发落地实现; 4.完成代码走查、测试代码开发等白盒测试工作; 5.解决测试过程中的复杂技术问题,能够发现工作中的效率提升点,开发工作中需要的测试工具; 6.熟悉金融相关业务,对基金、证券等理财产品比较熟悉者优先。

更新于 2025-10-21北京|上海