字节跳动C++引擎研发专家-ByteHouse(北/上/杭)
任职要求
1、熟悉分布式算法和系统,有数据库内核或者分布式系统研发经验优先; 2、熟练使用C/C++/Golang等语言的其中一项,有企业级产品研发经验; 3、扎实的计算机基础知识,包含数据结构,算法,多线程编程,…
工作职责
产品描述: ByteHouse 是基于 ClickHouse 打造的云原生数据分析平台/企业实时数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析。便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性,助力客户数字化转型。(火山引擎官网介绍:https://www.volcengine.com/product/bytehouse) 职位描述: 1、负责分布式数据库(云原生架构)设计实现,打造业界领先的数据库系统; 2、理解业务/云原生架构,从场景出发,设计并实现高并发,低延时,高容错系统; 3、分析系统性能瓶颈,从软硬一体设计出发,打造极致系统; 4、跟踪数据库前沿技术,挖掘/落地新技术的机会,包括新硬件,智能优化器,湖仓一体等。
1、参与小红书Spark离线引擎的研发工作,支撑小红书云原生大规模离线数据处理场景,包括数据仓库、机器学习等场景,提升离线处理引擎的性能和稳定性 2、参与小红书Spark Native Engine 和 Serverless Spark 架构的研发工作,提升任务时效性,同时利用离在线混部降低资源成本 3、参与统一元数据工作,为小红书算法AI团队管理非结构化数据,提供统一访问方式,简化算法数据开发链路,并进行数据治理
1、参与分布式数据库(云原生架构)存储引擎设计实现,打造业界领先的OLAP数据库系统; 2、负责/参与引擎相关的设计、实现、 测试、优化、集成等工作; 3、构建高吞吐,低延迟,高容错存储引擎,分析系统性能瓶颈,打造极致系统; 4、跟踪数据库前沿技术,挖掘/落地新技术的机会。
1、参与设计和实现推理引擎SDK,提升推理性能、易用性和产品稳定性。(Design and develop inference engine。Focusing on performance、usability and product robustness) 2、参与设计和实现推理引擎的AI编译。包括图融合、各类图优化、算子优化以及自动化调优等(Design and develop AI Compiling。including fusion,graph optimizations、kernel optimization and auto-tuning) 3、参与设计和实现推理引擎的运行时系统。包括内存管理以及资源管理等等。实现高效和稳定的稳定性。(Design and develop runtime system,including memory management and resource management) 4、参与设计和实现大模型的推理优化。基于推理引擎,研发和应用大模型推理优化的技术(Design and optimize LLM inference。Based on inference engine,develop and apply core technology for LLM inference)
1、参与设计和实现推理引擎SDK,提升推理性能、易用性和产品稳定性。(Design and develop inference engine。Focusing on performance、usability and product robustness) 2、参与设计和实现推理引擎的AI编译。包括图融合、各类图优化、算子优化以及自动化调优等(Design and develop AI Compiling。including fusion,graph optimizations、kernel optimization and auto-tuning) 3、参与设计和实现推理引擎的运行时系统。包括内存管理以及资源管理等等。实现高效和稳定的稳定性。(Design and develop runtime system,including memory management and resource management) 4、参与设计和实现大模型的推理优化。基于推理引擎,研发和应用大模型推理优化的技术(Design and optimize LLM inference。Based on inference engine,develop and apply core technology for LLM inference)