快手检索引擎研发工程师
社招全职D2867地点:北京状态:招聘
任职要求
1、具备扎实的计算机理论基础、极强的编码能力,优秀的问题分析与解决能力,勇于挑战技术难题; 2、对索引耗时优化、吞吐性能优化、存储优化等方向,具有较强的分析能力和问题处理能力; 3、熟悉信息检索基础理论,有大规模分布式信息检索系统(如 ElasticSearch、Faiss等)研发与维护经验者优先; 4、有主流大规模推荐/搜索引擎架构研发经验者,或熟悉数据库技术,高并发高吞吐的系统经验者优先。
工作职责
1、参与快手搜索引擎研发工作,服务数亿海量用户; 2、参与搜索引擎核心架构设计与开发,涵盖的方向包括: (1)负责前沿ANN算法与引擎的研发,实现大容量、高吞吐、高精度、低成本的向量检索引擎,持续构建业界领先的技术能力; (2)负责自研百亿规模的视频、网页,商品等多类资源的检索系统研发,包括且不限于高效的建库系统,高性能的检索引擎; (3)面向搜广推业务,建设统一的检索平台,有机融合ANN,倒排等多类检索引擎,提供极致效率的建库,服务,运维体验。 3、探索AI检索新技术、新思想的应用和落地。
包括英文材料
ElasticSearch+
https://www.youtube.com/watch?v=a4HBKEda_F8
Learn about Elasticsearch with this comprehensive course designed for beginners, featuring both theoretical concepts and hands-on applications using Python (though applicable to any programming language). The course is structured in two parts: first covering essential Elasticsearch fundamentals including index management, document storage, text analysis, pipeline creation, search functionality, and advanced features like semantic search and embeddings; followed by a practical section where you'll build a real-world website using Elasticsearch as a search engine, working with the Astronomy Picture of the Day (APOD) dataset to implement features such as data cleaning pipelines, tokenization, pagination, and aggregations.
高并发+
https://www.baeldung.com/concurrency-principles-patterns
In this tutorial, we’ll discuss some of the design principles and patterns that have been established over time to build highly concurrent applications.
https://www.baeldung.com/java-concurrency
Handling concurrency in an application can be a tricky process with many potential pitfalls. A solid grasp of the fundamentals will go a long way to help minimize these issues.
https://www.oreilly.com/library/view/concurrency-in-go/9781491941294/
You’ll understand how Go chooses to model concurrency, what issues arise from this model, and how you can compose primitives within this model to solve problems.
https://www.oreilly.com/library/view/modern-concurrency-in/9781098165406/
With this book, you'll explore the transformative world of Java 21's key feature: virtual threads.
https://www.youtube.com/watch?v=qyM8Pi1KiiM
https://www.youtube.com/watch?v=wEsPL50Uiyo
信息检索+
https://nlp.stanford.edu/IR-book/information-retrieval-book.html
Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008.
Faiss+
https://faiss.ai/index.html
Faiss is a library for efficient similarity search and clustering of dense vectors.
https://huggingface.co/learn/llm-course/en/chapter5/6
In this section we’ll use this information to build a search engine that can help us find answers to our most pressing questions about the library!
相关职位
社招D2867
1、参与快手搜索引擎研发工作,服务数亿海量用户; 2、参与搜索引擎核心架构设计与开发,涵盖的方向包括: 1)参与新一代检索引擎的设计与开发工作,研发业界领先的在线检索系统(包含但不限于正倒排、ANN等); 2)参与千亿级数据的离线构建、增量构建过程,设计并研发领先的build service系统; 3)面向视频、电商等搜索场景业务,建设统一的检索平台,有机融合ANN,倒排等多类检索引擎,提供极致效率的建库,服务,运维体验; 3、探索搜索引擎与AI检索新技术、新思想的应用和落地。
更新于 2025-08-12
社招3年以上核心本地商业-业
参与美团核心本地商业的统一搜索引擎建设,具体包含以下方面: 1. 支撑搜推核心业务的统一检索引擎建设,包含核心存储引擎建设(正倒排索引、向量化检索、KV存储等)、检索引 擎建设(SQL化的查询引擎)、索引构建系统、在线召回系统。 2. 负责流批一体的数据处理系统建设,支撑美团全业务线供给、数百数据源、百亿数据的接入处理、实时索引构建和更新。 3. 从离线数据处理、索引构建、在线召回的一站式平台研发,支持业务的一站式迭代、支持大规模存储服务的自动化运维、auto-resharding、弹性伸缩、离在线混布。
更新于 2025-06-22
社招3年以上核心本地商业-点
1.负责点评搜索核心服务的架构抽象和优化,高效支持数据接入、召回、排序、展示等功能,支持搜索相关工具建设与优化,提升工程、算法、产品的迭代效率; 2.通过合理的技术选型和实现,保障搜索系统的高可用、高吞吐、低延迟; 3.深入理解搜索业务和产品需求,从而抽象出系统模型,高效支持点评App搜索需求研发工作。
更新于 2025-04-23