腾讯云存储高级研发工程师(北京/深圳/上海/成都)
任职要求
1.至少精通C/C++/GO其中一门编程语言,深入理解操作系统和网络基本原理,具备扎实的数据结构和算法基础; 2.具备分布式系统研发经验,…
工作职责
1.负责分布式存储相关方向的技术研发以及运营,打造业界领先的超大规模存储系统; 2.不断丰富产品功能,提升产品竞争力,满足不同行业客户的业务诉求; 3.持续优化系统服务质量,提升系统性能,降低运营成本,为客户提供稳定可靠的云存储服务。
大模型具备很强的泛化及理解世界能力,在小红书内的众多生产场景遍地开花,大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上,如何能够通过高效的GPU调度策略,使大家不仅能丝滑地完成训练及部署任务,同时也能充分激发大规模GPU集群的效能,是行业公认的关键挑战。在这里,你可以聚焦LLM场景,接触到超大规模GPU集群,并使用真实负载数据进行深入分析及技术探索。欢迎加入我们,一起探索领先技术改变世界! 工作职责: 1、负责万卡规模GPU集群效能分析及优化,通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段,提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps,与下游云原生平台深度融合,支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态,探索建设业界领先的资源调度策略及方法,构建下一代大规模AI资源调度系统。
【业务介绍】 我们是小红书内稠密类模型(LLM/MLLM/SD/CV/NLP)统一的AI平台QuickSilver,负责调度公司内所有稠密类模型训练与推理资源,基于自建的训推引擎,为公司所有AI算法同学迭代业务模型提供端到端一站式AI服务;包括数据管理,模型管理,模型训练、压缩、推理、部署,服务管理,资源调度等一系列能力。 工作职责: 1、负责稠密类模型训练推理开发平台的架构设计和核心功能研发 2、设计和实现大模型训练部署流程,包括模型fine-tuning、推理服务化等 3、构建云原生架构,设计高可用、高性能的微服务体系 4、优化平台性能,提升系统稳定性和可扩展性
1、负责模型训练平台核心功能开发和架构设计,包括传统CN/NLP/SD/LLM等多场景支持 2、负责大模型后训练工具平台化建设,包括后预训练、微调、对齐等技术落地 3、设计和实现高性能分布式训练系统,打造端到端训练解决方案 4、优化训练调度和资源管理,提升集群利用率和训练效率 5、开发模型训练监控诊断工具,建设可观测性体系
Location: 杭州市西湖区西溪谷国际商务中心G座 上海在静安区氪空间 北京在昌平龙泽地铁站滴滴天空之城A座 我们这里是滴滴国际金融最重要的业务和技术底盘,用技术的手段将底盘能力做扎实(即保障资金安全、业务系统高可用), 国际化业务才能在更专注的去追寻业务的高速发展,不用因为技术底盘不扎实而影响业务的发展。如果你对这一块有兴趣,会得到比较快的技术成长 * 国际化业务目前发展势头良好。 * 资金安全&高可用,预防线上的资损问题和高可用问题,是国际金融业务的核心技术和底盘。 * 团队氛围开放积极,有机会与国内外各部门业务与技术进行日常交流学习。 职责要求: 1、滴滴国际化金融(IBG FinTech) 技术风险能力建设,包含应急能力、变更防御、红蓝攻防、性能容量、资金安全,构建Fintech技术风险体系; 2、参与重大项目的技术风险保障工作,对技术风险领域进行评审和分析; 3、贴身业务,挖掘业务风险,沉淀技术风险领域标杆,释放研发技术风险投入,更聚焦在业务研发上; 4、明星业务,多底盘充满了挑战和机遇,欢迎来战。