字节跳动大数据平台工程师
任职要求
1、熟悉多项大数据处理/分析相关的工具/框架，例如：Hadoop，Mapreduce，Hive，Storm，Spark，Kylin，Scribe，Kafka，Hbase等； 2、优秀的编码能力，生产环境…
工作职责
1、负责数据平台和分析型产品，服务于字节跳动的相关产品线； 2、面向PB级超大规模数据问题，每天处理千亿增量的数据信息； 3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程； 4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。
1.特征服务与模型训练平台建设：建设统一的特征服务平台，模型训练平台，负责特征数据的采集、清洗、存储与查询，提升特征复用率与可追溯性，分布式模型训练的性能优化，扩展增强，优化全链路的稳定性与成本。 2.大数据计算与实时处理：设计并实现批处理（Spark/Hive）和流处理（Flink/Kafka）任务，建设批流一体架构，推动数据湖/湖仓一体化在特征场景落地。 3.平台研发与接口服务：使用Java/Scala/Python开发核心模块，提供标准化API/SDK，高并发、低延迟特征服务接口，支持业务与算法调用。 4.系统优化与运维：负责分布式系统的稳定性与高可用性，进行JVM/并发/存储调优，建设监控与告警体系，提升可观测性。
1.负责公司大数据埋点采集系统的设计、开发和治理工作，负责服务端的架构设计与解决方案制定 2.对大数据平台后端服务进行性能优化，确保平台的高效与稳定运行； 3.熟练使用flink、spark，进行数据开发； 4.完成大数据平台内各功能模块的需求对接，方案设计。在大数据场景下的数据使用性能优化；
1、参与Apache Spark核心模块研发，负责Spark SQL、DataFrame、RDD等核心组件的功能开发、性能优化及稳定性提升。 2、深度优化Spark执行引擎，针对Shuffle、内存管理、任务调度等模块进行调优，解决海量数据场景下的性能瓶颈。 3、设计与实现分布式计算新特性，结合业务需求开发定制化功能（如查询优化、资源调度、容错机制）。 4、解决大规模集群生产问题，分析并修复Spark在千亿级数据场景下的稳定性问题（如OOM、数据倾斜、Shuffle失败等）。
-复杂环境下的工程交付 -深度参与数据平台在客户侧的私有化部署、适配与运行保障，处理复杂基础设施、网络与历史系统约束 -在资源受限、环境差异大的条件下，推动系统成功上线并长期稳定运行 -代码级问题解决与能力增强 -针对客户现场暴露的问题，进行源码级分析、修复与优化，而非仅停留在配置或脚本层 -在必要情况下，为特定场景补齐平台能力（功能、性能、稳定性或可运维性），并推动能力平台化 -平台工程质量与架构改进 -参与平台关键模块的设计与改进，对系统可扩展性、稳定性、性能与可维护性负责 -推动私有化与生产环境下的工程标准建设，包括部署、升级、回滚、监控与故障恢复 -研发与交付的双向桥梁 -将客户侧复杂问题抽象为工程问题，与核心研发团队协同推动平台级修复与演进 -对平台在真实生产环境中的表现负责，而不仅是功能交付完成 -关键节点技术兜底 -在高风险或关键阶段，作为技术兜底角色参与问题处理与决策 -接受阶段性出差，参与客户现场关键交付与疑难问题处理