快手搜索算法工程师
任职要求
1、硕士及以上学历; 2、熟悉自然语言处理、数据挖掘、机器学习等,有较强数据分析能力; 3、熟练使用C/C++或Python。 加…
工作职责
1、参与综合短视频,直播,电商,本地,社交和多语言等搜索业务,用大规模机器学习,强化学习,多模态预训练等技术提升搜索质量,用户留存和点击率等核心业务指标; 2、负责搜索query 意图分类,query 表征,query推荐,视频内容理解&多模态表征,多模态语义召回和相关性等搜索核心技术,提升搜索用户渗透率和相关性; 3、负责搜索用户行为分析,语义和行为混合检索,多序列&多任务粗排,精排,重排等搜索排序技术,提升搜索质量和内容消费指标; 4、负责搜索生态和机制,参与搜索混排,多目标优化,异构内容混排,短期和长期目标平衡,冷启动等搜索机制和算法。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。
1、参与快手搜索引擎研发工作,服务数亿海量用户; 2、参与搜索引擎核心架构设计与开发,涵盖的方向包括: (1)负责前沿ANN算法与引擎的研发,实现大容量、高吞吐、高精度、低成本的向量检索引擎,持续构建业界领先的技术能力; (2)负责自研百亿规模的视频、网页,商品等多类资源的检索系统研发,包括且不限于高效的建库系统,高性能的检索引擎; (3)面向搜广推业务,建设统一的检索平台,有机融合ANN,倒排等多类检索引擎,提供极致效率的建库,服务,运维体验。 3、探索AI检索新技术、新思想的应用和落地。
面向快手搜索业务,针对在线推理各个流程(特征、模型等)进行研发与优化; 1、针对搜索业务下的sparse/dense模型进行框架研发与优化,充分压榨GPU的能力; 2、针对推理场景下的特征、embedding查询计算优化,进一步提升CPU的计算效率; 3、支持大模型在搜索场景的落地工作。