快手音视频转码工程师-【直播架构方向】

1、负责应用侧的流量接入、排队管理、状态管理等核心模块的设计与研发； 2、负责数字人直播中的脚本解析、TTS语音合成、商品展示、缓存策略等关键能力的设计与研发； 3、负责处理直播与视频生产指令，实现直播间的实时图层合成、视频转码、高效渲染与稳定推流； 4、基于大语言模型（LLM）对直播间实时评论进行分析，生成互动回复内容，并以口播形式无缝合入直播流； 5、应用前沿的多模态实时互动技术，支持并实现数字人在线连麦等创新互动功能。

1、参与快手音视频大模型研发，内容包括视频处理大模型/编码大模型。其整体目标是用更少的码率，转出画质更好的视频，从而为用户带来更好的体验，实现压缩即智能； 2、负责点播/直播的处理大模型开发，探索超分等处理大模型算法上限，内容包括网络架构设计和优化，大规模数据处理， Diffusion保真性优化等； 3、负责点播/直播的编码大模型开发，探索AI codec的压缩上限，内容包括压缩网络框架设计和优化，与H.265等传统算法性能评估等； 4、跟踪国内外最新的前沿AI技术，融合处理和编码大模型，为公司研发出下一代基于AI的高效视频转码系统。

团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。

团队介绍：字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、西瓜视频等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。我们使用前沿的机器学习技术进行端到端建模并不断创新突破，同时专注于分布式系统、机器学习系统的构建和性能优化，从内存、Disk等优化到索引压缩、召回、排序等算法的探索，充分给同学们提供成长自我的机会。主要工作方向包括：1、探索前沿的NLP技术：从基础的分词、NER，文本、多模态预训练，到业务上的Query分析、基础相关性等，全链路应用深度学习模型，每个细节都充满挑战；2、跨模态匹配技术：在搜索中应用CV+NLP深度学习技术，实现多模态视频搜索强大的语义理解和检索能力；3、大规模流式机器学习技术：应用大规模机器学习，解决搜索中的推荐问题，让搜索更加个性化更加懂你；4、千亿级数据规模的架构：从大规模离线计算，分布式系统的性能、调度优化，到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新；5、推荐技术：基于超大规模机器学习技术，构建业界领先的搜索推荐系统，对搜索推荐技术进行探索和创新。 课题介绍：随着大模型技术的快速发展，智能搜索领域迎来了新的机遇和挑战。传统搜索技术在面对海量数据、多模态信息以及用户复杂需求时，逐渐暴露出模型容量不足、语义理解能力有限、资源利用率低等问题。基于大模型的智能搜索构建旨在通过引入大模型技术，提升搜索系统的智能化水平，优化用户体验，并解决超大规模检索、复杂语义理解、资源高效利用等核心问题。具体目标包括： 1、探索大模型与排序算法的结合，提升个性化排序的精度和用户体验； 2、研究生成式检索算法，解决百亿乃至千亿级别候选库的超大规模检索问题； 3、利用大语言模型（LLM）提升复杂多义Query的搜索满意度。 1、参与搜索引擎（策略、模型）研发工作，支持抖音/今日头条/电商/番茄小说/红果短剧等具有数亿用户的产品，致力于为数亿用户提供数千亿精准搜索结果，打造极致的搜索体验； 2、探索前沿技术，探索大模型等创新技术在AI搜索场景的落地，参与搜索引擎、搜索大模型的改进，包括而不限于： 1）NLP、大模型：构建大规模高质量数据（数据建设、数据抓取与解析、数据合成等）、分词、NER，文本、多模态预训练、Query分析、基础相关性等，全链路结合应用机器学习/深度学习模型，探索搜索引擎与大模型、LLM、MLLM、多模态、机器学习、强化学习等前沿技术的结合，实现搜索引擎全链路革新并进行极致的系统优化，探索提升AI搜索引擎的能力，包含而不限于相关性、权威性、时效性、意图理解能力等；探索新的自然语言处理算法、信息检索技术、LLM适性索引、LLM相关性、生成式召回、排序大模型等，提高搜索引擎的准确性和智能化程度； 2）召回与排序：借助语义理解、个性化预估、机制设计等技术，解决超大规模的视频、商品、直播、POI等搜索业务下的召回、排序、重混排模型； 3）多模态、跨模态匹配技术：基于海量网页图文、抖音视频数据的大规模多模态预训练和视频分析技术，提升视觉搜索的使用体验；在搜索中结合CV+NLP深度学习技术，实现多模态、视频搜索、强大的语义理解和检索能力； 4）页面分析和摘要：从千亿视频/网页中提取最有价值的信息，进行结构化字段提取、智能摘要生成、转码等工作来优化搜索体验； 5）链接分析：从万亿链接中找出最有价值的网页，优化链接质量、索引质量、垃圾作弊识别、调度策略等。