百度存储研发工程师(C++方向)(J85379)
任职要求
职责要求: -熟练掌握至少一种下列编程语言:C/C++、Java、Go、Python -熟练使用Linux操作系统 -熟悉常用算法和数据结构,熟悉网络编程、多线程编程技术 -富有激情和创造力,对底层技术有强烈兴趣,学习能力强,良好的团队…
工作职责
工作职责: -设计、研发大规模分布式存储系统 -为全百度提供高性能、高可用、低成本、易用的存储服务 -探索新架构、新技术、新硬件,设计下一代分布式存储
大模型具备很强的泛化及理解世界能力,在小红书内的众多生产场景遍地开花,大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上,如何能够通过高效的GPU调度策略,使大家不仅能丝滑地完成训练及部署任务,同时也能充分激发大规模GPU集群的效能,是行业公认的关键挑战。在这里,你可以聚焦LLM场景,接触到超大规模GPU集群,并使用真实负载数据进行深入分析及技术探索。欢迎加入我们,一起探索领先技术改变世界! 工作职责: 1、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段,提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态,探索建设业界领先的资源调度策略及方法,构建下一代大规模AI资源调度系统。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求; 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型; 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
1. 负责万亿级别QPS的分布式缓存/存储集群,支撑公司所有产品线的业务需求; 2. 设计、研发高可用、高性能的缓存/存储架构和中间件,应对弹性扩缩容,秒级故障自动切换,异地多活,分布式事务等极具挑战性的工作内容和方向; 3. 优化系统性能,深入内核,提升基础服务相关资源的使用率,增加系统稳定性,保障业务运行; 4. 设计并研发自动化运维平台,提升运维质量和效率,探索运维自动化和智能化技术和方向。