字节跳动流式计算研发工程师/架构师

1、构建高效，实时，稳定的流式计算引擎，支撑字节跳动公司内数多个产品线的推荐和广告业务； 2、构建高性能，高易用的SQL引擎，支撑特殊场景SQL语法，优化Streaming SQL任务性能； 3、构建基于SQL的批流统一计算引擎，支撑部分核心业务实时/离线统一的应用场景； 4、构建稳定高效的全图离线计算引擎，支撑上万亿边的超大规模图应用场景； 5、探索流式计算在新兴硬件，实时数仓，机器学习，图计算，准实时交互式查询等技术解决方案。

字节跳动在 2015 年开启构建微服务体系，拥抱 Go 语言社区，自研微服务框架，采用 Kubernetes 和容器作为在线服务运行环境的统一标准。团队负责构建字节跳动内部容器云平台，为字节产品线提供运行基石；以超大容器集群规模整体支撑了字节内部产品线，涵盖：今日头条，抖音，西瓜视频等；同时覆盖了在线，离线，机器学习，推荐/广告/搜索等多种应用场景；在持续多年的快速增长中，积累了丰富的Kubernetes/容器超大规模应用经验，旨在打造覆盖多场景，多地域的千万级容器的大平台。其中，在微服务、流式计算等核心场景，通过在离线混部项目，有效实现 40% 的 CPU 资源节省，天级平均利用率达到 60% 以上。 1、参与混部和统一调度技术方案的架构设计和核心代码开发，通过混部和潮汐资源满足离线大数据/ML训练等场景的资源需求； 2、解决混部和并池场景下，多租户之间的资源协调、弹性出让、性能隔离等技术难题； 3、通过数据与机器学习算法给调度系统提供更加准确和智能的决策，在满足不同类型（在线服务/流批计算/训练推理/存储服务...）工作负载混跑时的 SLO 前提下，尽可能高提升机器利用率； 4、通过数据分析等手段，挖掘多种场景的潜在优化空间； 5、具备良好的沟通协调能力，推进混部技术在多种业务场景落地。

-负责商业AIGC系统工程架构设计及研发，致力于为广告业务提供内容生成、内容知识化、内容多模态等中台化服务，并将内容能力打通广告检索系统，于广告的触发、创意、模型和机制等联动，助力商业业务增长 -负责研发算法工程，提高模型性能，提高算法工程化研发效率 -负责商业检索系统的研发，包括RPC服务、流式计算服务等 -对当前系统的不足进行分析和改进，提高系统性能

团队介绍：负责抖音、今日头条等产品的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，以及应用RAG技术，使得AI对数亿抖音用户的潜在价值得以实现。充分给同学们提供成长自我的机会。 1、探索前沿的检索技术：横跨视频、直播、图文、团购等众多体裁，从基础的NLP技术，到基于多模态理解、用户行为理解、EMBED DING相似性等的召回； 2、探索大规模的排序技术：在原有BERT、大规模稀疏模型的基础上，探索和落地超大规模自回归模型SCALING LAW； 3、探索超大规模的AI搜索RAG引擎：充分挖掘抖音海量流量的潜在价值，建设超大规模、多AGENT协同的AI搜整体架构，满足潜在的用户价值； 4、大规模流式机器学习技术：超高吞吐实时数据流，流式大规模机器学习，让更个性化的搜索更加懂你； 5、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新。 1、为大规模搜索系统设计并实现合理的批式、流式计算数据系统； 2、设计开发千亿级网页搜索的数据流、分布式建库、在线检索系统； 3、设计面向视频、图文、电商等不同体裁的大规模数据处理平台，研发搜索建库系统； 4、跟进业界技术趋势，推动新技术、新方法在建库、特征生产、样本工程应用落地。