快手高性能网络研发实习生
任职要求
1、硕士/博士学历,计算机系统结构/网络通信相关专业; 2、牢固的数据结构与算法、操作系统、计算机网络等方面基础知识储备; 3、良好的表达沟通能力和团队协作精神,具备较强的目标感和学习能力; 4、具备有如下一个或多个方向的项目或科研经历者优先考虑: - RDMA应用、RDMA网卡驱动的开发及部署优化; - 通用计算场景通信库(例如UCX)的使用、开发及部署…
工作职责
1、负责大规模AI训练和推理场景的集合通信库、RDMA协议栈研发和调优; 2、责大规模存储等通用场景的RDMA协议栈、传输通信库及中间件的研发和调优; 3、参与构建大规模RDMA网络Lossy部署解决方案,并负责相应拥塞控制算法的研发和调优。
1、参与白盒交换机系统研发; 2、参与网关系统研发,包括L4层负载均衡、VxLan网关、安全网关等; 3、参与虚拟(容器)网络系统研发; 4、参与高性能网络(RDMA/高性能用户态协议栈)系统研发; 5、参与网络管控平台研发,对超大规模数据中心网络进行全方位监测、控制、管理、运营优化。
1、参与白盒交换机系统研发; 2、参与网关系统研发,包括L4层负载均衡、VxLan网关、安全网关等; 3、参与虚拟(容器)网络系统研发; 4、参与高性能网络(RDMA/高性能用户态协议栈)系统研发; 5、参与网络管控平台研发,对超大规模数据中心网络进行全方位监测、控制、管理、运营优化。
本课题针对百亿级倒排索引的高性能检索需求,研发融合极致压缩算法与LSM Tree磁盘索引的高效倒排索引结构;设计基于异构计算加速、灵活查询DSL和混合存储引擎的检索算法;构建集成多级缓存、秒级实时索引更新和分布式调度的服务框架。 目标是在确保99.9%召回率的基础上,实现毫秒级响应,满足小红书亿级用户的高并发、低延迟检索场景。
模型压缩方向: 1、探索研发针对大语言模型、多模态大模型、StableDiffusion模型等模型的压缩技术,包括但不限于量化、蒸馏、剪枝、稀疏化等; 2、参与/负责多个业务场景中的模型压缩技术实现,对模型进行轻量化压缩,提高训练/推理效率,支持业务降本增效。 推理框架方向: 1、参与/负责研发面向CV/NLP/多模态/大语言模型等类型模型的推理服务框架; 2、通过并行计算优化、分布式架构优化、异构调度等多种框架技术,打造高效、易用、领先的AI推理框架。 高性能计算方向: 1、参与/负责AI推理/训练框架的底层性能优化工作,包括但不限于高性能算子、通信库开发与优化等工作; 2、参与/负责大模型计算引擎的研发工作,通过多种方式实现训推性能SOTA; 3、参与/负责前沿AI编译加速等技术的探索和业务落地。 模型训练方向: 1、负责调度公司所有模型训练与推理资源; 2、基于自建的训推引擎,构建公司统一的机器学习平台,为公司所有算法同学(稀疏 & 稠密,含 LLM) 模型迭代提供端到端的一站式服务;包括 数据生产,模型训练,模型上线,特征管理,模型测试,资源管控等一系列能力。