阿里云阿里云智能-存储软硬件结合开发技术专家-成都/杭州
任职要求
1. 5年以上存储领域的工作背景，有存储软件/硬件/开发和产品化经验； 2. 高质量C/C++/Go/Python代码开发经验，从系统设计、开发到测试、维护的项目全生命周期； 3. 有高性能存储技术研发经验（SPDK，DPDK等），对大容量存储硬件（如SAS/SATA HDD， tape）,高性能硬件（SCM，QLC），网络(rdma，智能网卡)，以及数据中心架构有实际开发并工程化、产品化的经验者加分； 4. 有AI场景训练推理存储系统设计开发经验及开源…
工作职责
1. 深入理解存储介质部件软硬件技术，熟悉存储介质（如CMR HDD，SMR HDD，NVME SSD，SCM等）、存储互联技术（如Ethernet，RDMA等）架构以及产品，文件系统和设备驱动的架构和实现, 开发软硬件一体化的高性能存储产品满足阿里巴巴云数据中心的业务挑战和需要； 2. 深入理解存储业务应用，对分布式文件系统，块存储，对象存储，文件存储，以及大数据平台进行深入分析，了解阿里业务情况与用户需求，制高性能，低成本存储软硬件技术和产品的发展路线； 3 深入理解AI场景训练推理存储系统需求及存储容器化部署方案，结合业务场景需求制定开发面向AI场景训练，推理存储软硬件一体化解决方案； 4. 与阿里云各软硬件团队合作，开发针对大容量，高性能存储的存储引擎、文件系统等。
围绕 AI 场景的系统瓶颈和能力短板，结合存储/DPU/CPU/GPU 的软硬件特性设计协同全栈优化，提升 OS 对 AI Infra 服务的有效可用时长，优化系统吞吐和延迟表现，提升 AI Infra 的综合性价比。 1、AI 优化特性开发：在充分掌握存储/DPU/CPU/GPU 技术栈的基础上，能够完成核心代码的编写和实现，指导团队成员，攻克复杂技术难题，并通过合理的团队分工和代码评审，确保工程落地。 2、参与 AI 新机型的操作系统适配和研发，能够完成新硬件功能代码的移植和优化，攻克复杂技术难题，使得新机型上线符合单租（普通容器形态）和多租（安全容器形态）业务预期。 3、负责制定和优化 AI 新机型研发的交付验收标准，达成业务稳定交付、快速交付和性能优化的目标，持续打造新机型上的系统软件技术竞争力。 4、技术规划：了解学术界工业界 AI Infra 的发展趋势，包括超节点服务器，以及开源社区的相关项目，在深入理解业务场景的前提下，完成操作系统南向软硬件协同优化的技术规划。
大模型具备很强的泛化及理解世界能力，在小红书内的众多生产场景遍地开花，大模型的训练和部署已成为许多算法工程师的日常。在多团队、多业务频繁使用的大规模GPU集群上，如何能够通过高效的GPU调度策略，使大家不仅能丝滑地完成训练及部署任务，同时也能充分激发大规模GPU集群的效能，是行业公认的关键挑战。在这里，你可以聚焦LLM场景，接触到超大规模GPU集群，并使用真实负载数据进行深入分析及技术探索。欢迎加入我们，一起探索领先技术改变世界！ 工作职责： 1、负责万卡规模GPU集群效能分析及优化，通过调度策略优化、在离线混部、集群调度、GPU虚拟化、故障快速恢复、存储&网络加速等手段，提升大规模GPU集群的整体使用效率。 2、负责构建面向大模型训练、微调、推理、部署全流程LLMOps，与下游云原生平台深度融合，支撑大模型在公司内各业务生产链路稳定高效地落地。 3、持续关注业界最新的GPU资源调度相关技术动态，探索建设业界领先的资源调度策略及方法，构建下一代大规模AI资源调度系统。
【职位描述】 1、设计和实现机器学习平台业务系统, 包括工具链/组件等AI基础设施, 落地业务功能需求； 2、高效优化和部署 计算机视觉、语音识别、语音合成、自然语言处理 等业务模型； 3、与公司各算法部门深度合作, 分析业务性能瓶颈和系统架构特征, 软硬件结合优化, 实现极致性能。
1. 负责万亿级别QPS的分布式缓存/存储集群，支撑公司所有产品线的业务需求； 2. 设计、研发高可用、高性能的缓存/存储架构和中间件，应对弹性扩缩容，秒级故障自动切换，异地多活，分布式事务等极具挑战性的工作内容和方向； 3. 优化系统性能，深入内核，提升基础服务相关资源的使用率，增加系统稳定性，保障业务运行； 4. 设计并研发自动化运维平台，提升运维质量和效率，探索运维自动化和智能化技术和方向。