小红书网页解析和处理算法工程师
任职要求
计算机科学、人工智能、数据挖掘相关背景，本科及以上学历。 熟练掌握至少一门编程语言（C/C++/Python），具备扎实的数据结构与算法基础，能够编写高效、可扩展的代码。 熟悉网页解析与数据处理技术，掌握HTML、DOM 解析、CSS 选择器、XPath、正则匹配、自然语言处理（NLP）等，有网页结构化抽取经验者优先。 具备 机器学习（ML）/自然语言处理（NLP） 实践经验，熟悉文本分类、实体识别、语义相似度计算等算法，能够应用深度学习模型（BERT/GPT 等） 进行网页语义质量建模。 具备网页质量识别、反爬对抗、垃圾信息过滤、内容分类等领域经验，能够基于大规模数据挖掘优化爬虫策略。 有网页抓取、搜索引擎、数据挖掘经验，能够结合搜索引擎索引需求优化数据采集流程。
工作职责
网页解析与结构化抽取：基于千亿级网页数据，研发通用网页解析算法，实现HTML 结构理解、正文提取、广告识别、页面去重等功能，提升大规模网页解析能力。 URL 归一化：优化 URL 解析与去重策略，提升爬虫抓取效率、内容聚合能力，构建高质量索引库。 页面质量评估：基于机器学习（ML）+ 自然语言处理（NLP）+ 规则工程，构建高质量内容筛选算法，识别低质量/垃圾/重复页面，提高训练数据质量。 知识抽取与语义理解：基于BERT/GPT/LLM 等技术，解析网页、文档、视频等多模态内容，构建网页内容理解、网页分类、实体识别等模型，助力大模型训练数据优化。 搜索数据优化：结合大模型能力+外部索引库，优化爬虫抓取策略，提升数据覆盖率、时效性，服务于搜索与问答产品。 爬虫数据分析与反爬对抗：基于数据挖掘分析网页特征，优化反爬检测、爬虫模拟行为、动态渲染等策略，提高数据采集成功率。 网页知识图谱构建：结合NLP、CV、OCR、知识图谱等技术，从网页、视频等内容中抽取实体、关系、事件等信息，构建高质量知识库。
1、索引库爬取与建设：负责搜索大环的设计和实现，优化搜索引擎爬虫算法，提高数据采集效率；分析和处理网页数据，提高网页解析的准度和效率。 2、责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性，突破各类反爬限制(如IP封禁、验证码、动态加密等)，设计高效稳定的数据采集方案 3、设计并优化分布式爬虫架构，提升系统并发能力和容错性维护数据采集链路，协同数据分析团队完成数据交付与应用
团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。
团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。
团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。