高德地图高德-离线流架构开发高级工程师/专家-信息工程团队
任职要求
1. 精通Flink流处理框架,熟悉一种或者多种大数据生态技术(Kafka/Hbase/Spark/Storm/Hadoop/Flume等),有大规模分布式系统开发经验; 2. 熟悉linux平台,精通java、sql语言,了解python、c++,具有良好的编程…
工作职责
1. 负责实时流处理系统架构设计,构建高可用、低延迟的分布式数据处理平台; 2. 制定系统性能优化方案,确保数据在高吞吐下的稳定运行; 3. 对接业务部门需求,提供数据驱动的业务解决方案和技术支持,主导数据处理业务逻辑开发,进行业务架构抽象,通过技术、平台降低数据生产成本; 4. 编写系统设计文档和技术规范,主导核心模块代码开发;
团队介绍:字节跳动推荐架构团队,负责字节跳动旗下相关产品的推荐系统架构的设计和开发,保障系统稳定和高可用;负责在线服务、离线数据流性能优化,解决系统瓶颈,降低成本开销;抽象系统通用组件和服务,建设推荐中台、数据中台,支撑新产品快速孵化以及为ToB赋能。 1、负责字节跳动旗下相关产品的推荐架构工作,解决推荐核心系统的架构优化问题; 2、针对推荐场景的架构抽象和流程优化,支持大规模的机器学习的优化,支持推荐平台的研发; 3、针对高并发高吞吐的大规模系统,提升系统的稳定性、性能、可扩展性; 4、核心组件的研发和优化、新技术的应用和落地。
职位概述: 在Kubernetes调度器领域拥有5年以上深度开发经验的高级工程师。将专注于CPU密集型数据处理任务与机器人数据流处理的调度优化,设计并实现面向大规模CPU集群的高效调度策略。深入理解数据处理工作负载的特点,构建能够满足低延迟、高吞吐需求的调度系统,为我们的机器人数据平台提供稳定、高效的调度能力。将调度理论与实际业务场景深度结合,解决生产环境中的复杂调度挑战。 核心职责: 1.主导面向CPU密集型数据处理任务(如机器人感知数据、图像处理)的Kubernetes调度器定制与优化; 2.设计并实现针对流式数据处理流水线的任务调度策略,优化任务启动延迟和数据局部性; 3.开发基于优先级、任务依赖关系和工作负载特征的智能调度插件; 4.优化大规模CPU集群的资源利用率; 5.实现数据感知调度机制,将计算任务调度到数据所在节点或区域,减少数据传输开销; 6.为机器人数据处理流水线设计任务抢占与优先级调度策略,确保高优先级任务的服务质量; 7.构建调度策略仿真与评估系统,对调度算法进行离线测试与验证; 8.与数据平台团队合作,将调度策略与数据处理框架(如Apache Flink、Spark Streaming、Ray)深度集成。
资深Java/架构师 - 平台治理策略 【】 负责构建和优化支撑全球电商业务健康、安全、合规的核心治理平台。技术决策将直接影响平台商品质量、商家合规水平、消费者信任和整体营商环境。 【核心职责】 1、平台治理中台架构设计:负责平台治理领域(不限于商品质检、资质合规、风险处置、商家体验等)的业务中台与数据中台架构设计,实现高内聚、低耦合的系统解耦。规划和设计可扩展、高可用的治理核心系统,包括但不限于规则引擎、工作流引擎、任务调度平台、实时/离线风控系统。 2、核心系统研发与攻坚:主导不限于商品信息治理系统、实物质检履约系统、商家合规证书管理平台、处置与处罚系统的架构设计与技术难点攻关,构建一体化的商家体验平台,包括申诉、咨询、任务中心,提升商家满意度和运营效率。 3、技术与创新驱动:引入大数据、机器学习等技术,提升平台在图片/文本识别、风险商家挖掘、智能质检等方面的自动化能力和准确率。优化海量数据(商品、订单、行为日志)下的实时计算与批量处理性能,保障系统在亿级流量下的稳定与低延迟。 4、团队与标准建设:制定团队技术规范、代码规范,主导核心代码的编写与评审。培养和指导高级工程师,提升整个团队的技术设计和架构能力。