快手搜索引擎研发工程师-算法引擎部
任职要求
1、具备扎实的计算机理论基础、出色的编码能力、出色的数据结构和基础算法功底; 2、出色的分析问题、解决问题能力,追求优雅的架构设计,对挑战技术难题充满激情; 3、熟悉Linux环境下性能调优、有大规模C++在线服务研发经验者优先; 4、有主流大规模推荐/搜索引擎架构研发经验者优先; 5、熟悉分布式系统…
工作职责
1、参与快手搜索引擎研发工作,服务数亿海量用户; 2、参与搜索引擎核心架构设计与开发,涵盖的方向包括: 1)参与新一代检索引擎的设计与开发工作,研发业界领先的在线检索系统(包含但不限于正倒排、ANN等); 2)参与千亿级数据的离线构建、增量构建过程,设计并研发领先的build service系统; 3)面向视频、电商等搜索场景业务,建设统一的检索平台,有机融合ANN,倒排等多类检索引擎,提供极致效率的建库,服务,运维体验; 3、探索搜索引擎与AI检索新技术、新思想的应用和落地。
我们是小红书中台大模型 Infra 团队,专注打造领先易用的「AI 大模型全链路基础设施」!团队深耕大模型「数-训-压-推-评」技术闭环,在大模型训练加速、模型压缩、推理优化、部署提效等方向积累了深厚的技术优势,基于 RedAccel 训练引擎、RedSlim 压缩工具、RedServing 推理部署引擎、DirectLLM 大模型 API 服务、QuickSilver 大模型生产部署平台等核心产品,持续赋能社区、商业、交易、安全、数平、研效等多个核心业务,实现 AI 技术高效落地! 1、参与设计实现支持RLHF/DPO等对齐技术的高效训练框架,优化强化学习阶段的Rollout、Reward Model集成、多阶段训练 Pipline; 2、研发支持多机多卡 RL 的分布式训练框架,开发TP/PP/ZeRO-3与RL流程的动态协同机制,解决 RL 算法在超长时序下的显存/通信瓶刭 3、构建端到端后训练工具链,主导框架与 MLOps 平台集成,提供训练可视化、自动超参搜索等生产级能力 4、与公司各算法部门深度合作,参与大语言模型LLM、多模态大模型 MLLM等业务在 SFT/RL领域的算法探索和引擎迭代; 5、参与分析各业务 GPU 利用率与饱和度等指标,结合业务场景持续优化训练框架能力,提升框架领先性。
面向快手搜索业务,针对在线推理各个流程(特征、模型等)进行研发与优化; 1、针对搜索业务下的sparse/dense模型进行框架研发与优化,充分压榨GPU的能力; 2、针对推理场景下的特征、embedding查询计算优化,进一步提升CPU的计算效率; 3、支持大模型在搜索场景的落地工作。
团队介绍: 高德地图机器学习研发部是公司AI核心技术引擎,聚焦多模态大模型、视频生成与理解、图像编辑与生成等前沿领域。团队深耕人工智能技术落地,支撑亿级用户产品,同时长期投入前沿探索,在NeurIPS/ICLR/CVPR/ACL等顶会发表多篇论文,多项成果入选“最有影响力论文”榜单。我们拥有海量数据与算力资源,鼓励创新突破,诚邀你与顶尖算法专家并肩,共同定义AI的未来!如果你渴望挑战多模态与生成式AI的技术巅峰,在视频、图像、大模型的交叉领域实现突破,欢迎加入我们!团队的github页面是:https://github.com/AMAP-ML/ 我们提供 • 参与亿级用户产品的AI核心算法研发,见证技术直接赋能业务; • 与学术大牛和工业界专家共事,持续提升技术视野; • 顶配算力资源+开放创新氛围,支持前沿探索与顶会论文发表。 具体职责包括但不限于: 1. 视频生成:负责视频生成技术的前沿技术的研究,对AIGC的diffusion和auto-regressive技术有深入了解,在T2I/AIGCT2V/I2V上面有一定的研究,图文对齐,长视频生成等有一定的研究,做好视频生成在高德业务(广告,POI详情页等)中的进行落地。 2. 视频理解:能够使用和优化多模态大模型对用户上传的视频进行质量理解,标签,densecaption,视频summary等生成,作用到视频的搜索,广告,推荐等业务的落地。 3. 世界模型: 参与世界模型的构建,能够使用最新的视频生成技术,3D技术等构建符合人类物理规律的统一的世界模型,在高德的业务进行落地。 4. 紧跟技术前沿和技术沉淀,形成顶会论文和专利。
团队与角色介绍: 我们是国际数字商业集团(AIDC)智能引擎事业群下属的广告引擎团队,致力于构建下一代智能广告技术平台。本岗位将深度参与广告引擎核心系统研发,聚焦在线服务架构优化、算法工程化落地、高并发系统性能调优及稳定性保障体系建设,通过技术创新驱动广告业务增长。 岗位职责: 1. 智能广告引擎架构设计 ○ 主导AIDC广告引擎核心模块的技术架构设计与开发,构建高可用、低延迟的在线服务系统 ○ 推进算法工程化落地,设计与实现特征工程、模型训练、在线推理全链路优化方案 2. 大数据处理平台研发 ○ 开发支持千亿级数据处理的分布式计算框架,优化离线批处理与实时流式计算任务效率 ○ 构建高性能特征存储与计算系统,支持毫秒级实时特征抽取与复杂特征交叉计算 3. 系统工程优化 ○ 主导广告检索/排序/机制模块的性能调优,实现QPS与系统资源利用率的持续提升 ○ 设计多级容灾方案,建立全链路监控体系,保障99.99%+的系统可用性