腾讯腾讯云大数据-高级大数据技术服务工程师-内核专家/平台开发

职位概述： 我们正在寻找一位对系统稳定性和高可用性有着极致追求的高级运维工程师。您将成为我们电商及资讯平台基础设施的“守护者”，核心职责是确保生产环境7x24小时高可用，并高效管理从故障发现到恢复的全生命周期。您需要具备深厚的技术功底、冷静的应急心态和强大的复盘能力，通过自动化、流程化和系统化的方法，不断提升我们系统的韧性与可观测性，为亿万用户的顺畅体验保驾护航。 核心职责： 1. 系统高可用性保障： o 负责公司核心业务（电商、资讯）生产环境及基础设施（服务器、网络、数据库、中间件等）的稳定运行，确保服务SLA达到或超过既定目标（如99.99%）。 o 设计、实施和维护高可用和容灾架构，包括同城双活、异地灾备等方案的落地与演练。 2. 监控与应急响应： o 主导建设和优化集中式监控、日志分析与告警系统（如Prometheus/Grafana, ELK, Zabbix, Datadog等），确保能提前预警、快速发现问题。 o 作为主要事故处理指挥官（Incident Commander），负责7x24小时应急响应，领导并协调相关团队对线上事故进行快速定位、止损和恢复，最大限度降低影响。 3. 事故全生命周期管理： o 严格遵循ITIL等最佳实践，管理事故（Incident）和处理工单（Ticket）。 o 主导重大事故复盘（Post-mortem），编写详尽的复盘报告，深入分析根因，并推动落实改进措施（如代码修复、流程优化、架构调整等），避免同类问题重复发生。 4. 运维自动化与效率提升： o 通过编写脚本（Shell/Python/Go等）和利用自动化工具（Ansible/Terraform等），自动化日常运维操作和故障处理流程，提升效率，减少人为失误。 o 践行SRE（Site Reliability Engineering）理念，通过代码管理基础设施（IaC）。 5. 容量规划与性能优化： o 定期进行系统容量评估和规划，确保系统有能力应对业务增长和突发流量（如大促活动）。 o 分析系统性能瓶颈，协同开发团队进行调优，提升系统效率和资源利用率。 6. 系统组件的安全升级及维护： o 常规维护能力：具备使用安全扫描工具进行安全漏洞扫描额能力。 能全程跟进系统组件安全管理，做好版本监控、漏洞扫描与风险评估，按计划升级部署补丁、更新配置，快速应对突发安全事件，降低业务受影响程度。 o 借助工具强化能力：熟练使用安全卫士等工具，将其融入维护流程。实现自动化漏洞检测与修复建议输出，实时监控异常与潜在威胁并预警阻断，利用日志分析优化安全策略，构建闭环安全管理体系。

数据引擎-数据湖 团队，旨在打造业界领先的 EB 级超大规模数据湖，支持字节跳动众多核心业务线，如抖音、今日头条、电商。同时基于内部最佳实践，在火山引擎上打造一款云原生实时湖仓一体的 toB 产品——湖仓一体分析服务LAS（LakeHouse Analytics Service）。 1、打造业界领先的基于 HUDI的EB级数据湖，支撑字节跳动众多业务线（如抖音，今日头条，电商）； 2、负责流批一体的实时数据湖存储系统的设计与研发，以及内核的极致优化； 3、与开源社区紧密合作，持续构建开源影响力，有机会成长为 HUDI Committer / PMC。

-负责自驾大数据平台研发，实现分布式大数据计算和查询引擎以及分布式中间件 -支持海量数据计算以及高吞吐高并发数据应用场景，提升大数据产品性能和研发效率

1.负责构建基于Kubernetes的云原生分布式计算平台，支撑离线计算、实时流处理等多场景需求，实现计算资源的弹性伸缩与高效调度； 2.解决数仓生产场景下业务规模增长带来的引擎扩展性问题，通过优化Shuffle服务、向量化执行引擎以及内核改造，支撑每天百万级Spark Job，EB级数据处理，单作业百TB Shuffle，不断提升生产引擎稳定性和扩展性，保障核心数据的稳定产出； 3.综合调度、引擎层内核改造优化等多种技术方案持续提升计算效率，降低计算成本； 4.设计并实现云原生环境下的弹性扩缩容策略，结合K8s编排能力与计算引擎特性，应对流量洪峰与资源碎片化挑战。