字节跳动统一存储研发架构师-大数据方向

团队介绍：集团信息系统部（Corporate Information System）负责字节跳动信息系统建设。通过构建领先的信息系统，助力公司业务和组织的长期高效经营与发展。与此同时，在安全、隐私、合规层面持续治理，为公司的稳健发展保驾护航。字节跳动的员工分布在全球超过 120 个城市，业务模式复杂，用户规模大。到现在，集团信息系统部已经覆盖人事、财务、法务、采购、审批、职场等多个领域，隐私安全工作同步开展，AIGC 创新孵化也在逐步落地实现。 1、负责实时数据同步、离线集成与复杂数据加工，提升数据流转效率与安全性，确保数据同步的实时性和一致性； 2、负责公司统一数据引擎的大数据架构设计与技术研发，推动数据同步、集成及流计算能力的建设与优化； 3、设计高效、安全的大数据架构，推动数仓与BI团队搭建稳定高效的数据流程； 4、深入了解各业务线数据需求，解决数据研发、质量与安全等核心问题，推动业务实施。

字节跳动在 2015 年开启构建微服务体系，拥抱 Go 语言社区，自研微服务框架，采用 Kubernetes 和容器作为在线服务运行环境的统一标准。团队负责构建字节跳动内部容器云平台，为字节产品线提供运行基石；以超大容器集群规模整体支撑了字节内部产品线，涵盖：今日头条，抖音，西瓜视频等；同时覆盖了在线，离线，机器学习，推荐/广告/搜索等多种应用场景；在持续多年的快速增长中，积累了丰富的Kubernetes/容器超大规模应用经验，旨在打造覆盖多场景，多地域的千万级容器的大平台。其中，在微服务、流式计算等核心场景，通过在离线混部项目，有效实现 40% 的 CPU 资源节省，天级平均利用率达到 60% 以上。 1、参与混部和统一调度技术方案的架构设计和核心代码开发，通过混部和潮汐资源满足离线大数据/ML训练等场景的资源需求； 2、解决混部和并池场景下，多租户之间的资源协调、弹性出让、性能隔离等技术难题； 3、通过数据与机器学习算法给调度系统提供更加准确和智能的决策，在满足不同类型（在线服务/流批计算/训练推理/存储服务...）工作负载混跑时的 SLO 前提下，尽可能高提升机器利用率； 4、通过数据分析等手段，挖掘多种场景的潜在优化空间； 5、具备良好的沟通协调能力，推进混部技术在多种业务场景落地。

我们是有赞的核心数据团队，主要负责商家后台数据中心的建设与运营。我们致力于打造业界领先的、基于语义层的统一数据服务平台（OneService），构建完善的指标管理体系，赋能商家精细化运营，提升数据驱动决策的效率。加入我们，你将有机会参与从0到1或从1到N构建企业级数据服务核心基础设施的过程。 岗位职责： 1. 负责统一数据服务平台（基于语义层）的设计、研发与持续优化，打造公司级标准、高效、易用的数据消费入口； 2. 负责指标中心/指标管理系统的规划与建设，建立规范化的指标生产、维护、管理流程与配套工具，保障指标口径统一与准确； 3. 提升平台数据服务能力，支持多样化的数据消费场景（如：BI报表、自助分析、数据API、运营活动等），赋能业务实现数据驱动，包括但不限于数据可视化产品，数据赋能运营等场景的设计和落地； 4. 持续优化数据平台的技术架构，提升系统稳定性、查询性能和用户体验，降低数据接入和使用成本； 5. 负责数据产品的开发及维护工作，与数据分析师、产品经理、业务方紧密合作，理解数据需求，将其转化为标准化的数据平台能力。 工作内容： 1. 负责商家数据中心的设计、开发与持续迭代优化（基于离线/实时数仓）； 2. 深入参与OneService平台的设计与研发，包括但不限于语义层建模、查询引擎对接、API服务开发、权限管理等核心模块； 3. 负责指标维度管理系统的设计与实现，支持指标的定义、血缘、变更、生命周期管理等功能； 4. 基于Spark/Flink等计算引擎进行数据处理、加工与分析，构建高效、稳定的数据链路； 5. 应用OLAP技术（如Doris, ClickHouse, Kylin等）优化海量数据查询性能，并根据业务场景进行技术选型和实践； 6. 参与数据服务相关在线系统的架构设计与开发，保障服务的高可用和高性能。

-设计和开发百度智能云数据中心基础平台，包括百度流量统一接入和调度、服务器管理、基础组件管控、监控系统等 -设计和开发海量服务集群自动化管理与决策系统、大规模数据采集、流式聚合、时序数据存储和数据分析系统，持续提升系统可用性、性能和可扩展性 -基于人工智能前沿技术持续优化迭代智能运维产品，提供智能异常检测、根因定位、故障预测等服务，支持百度业务发展 -探索、研究业界最新的技术方向，提升百度智能云核心竞争力