米哈游AI存储资深研发工程师
任职要求
- 本科及以上学历，计算机相关专业，具有存储领域相关工作经验；
- 有超大规模模型研发经验，涉及数据、训练、部署、评估等相关工作；
- 熟悉主要云厂商的AI Infra解决方案，有分布式存储项目经验；
- 熟悉gpfs、lustre等并行文件系统架构，能够定位处理存储集群的各类问题；
- 熟悉云存储技术及…工作职责
- 负责AI场景下存储方向性能分析，探索模型训练/推理与存储系统的深度集成，优化大模型训练/推理性能； - 负责各GPU集群IO性能统计跟踪，数据缓存系统方案建设。 - 负责持续跟进大模型训练推理前沿技术和开源方案，结合存储完成场景化分析。
1. 协同AI平台与算法团队，面向AI大模型训练和多样化数据处理场景，研发云原生文件系统和缓存加速系统，为AI业务提供极致的存储解决方案并推动在业务侧落地。 2. 应对小红书超大规模多模态应用挑战，攻克单集群百亿级元信息、Tbps级高吞吐等行业技术难题，保障AI业务的安全、稳定和高效运行。 3. 持续进行系统架构优化与技术迭代，结合AI负载特征，实现数据智能调度、数据预取和缓存管理，不断优化I/O路径，有效提升GPU等算力资源利用率。
1. 跟踪主流大模型生态与开源模型发展，包括 Qwen、DeepSeek、Kimi、GLM、LLaMA、Gemma 等模型方向。 2. 研究大模型在 GPU 服务器/AI PC/边缘设备等平台上的部署，性能瓶颈分析与调优。 3. 基于 vLLM、SGLang、llama.cpp、Ollama、KTransformers、TensorRT-LLM 等推理框架，分析模型推理过程中的计算、显存、内存与存储需求。 4. 研究存储相关的关键AI领域技术，包括 KV Cache 的生成、访问、复用、卸载和回读机制，及分层卸载方案，PD分离架构对存储需求，长上下文推理，及超高性能SSD等领域，推导产品核心需求，并于上下游合作制定产品架构和技术路线图。 5. 主导面向AI新产品架构方向的技术预研、需求定义，并驱动产业上游。 6. 跟踪 GPU Direct Storage、GPU Initiated Storage、CXL、NVMe、OCP等AI领域相关技术与标准演进, 评估对产品影响并提出相关标准提案和建议。。 7.面向 AI 工作负载分析和针对性优化
职位描述：负责分布式数据库OceanBase AI湖库存储引擎的核心功能研发，OceanBase AI湖库是OceanBase面向AI/AP场景推出的一款全新产品，有着更广阔的市场前景，同时也面临更大的产品技术创新的挑战。需要同学参与方案设计，和团队成员共同讨论并解决存储引擎研发中的各类技术难题，完成最终方案落地，为最终的产品功能交付负责。
1.参与 Connector 的数据传输面研发，利用高并发、RDMA、P2P、协程等关键技术，持续改进服务的性能、成本、灵活性、可观测、可运维等关键特性，在超大规模部署中放大技术价值并沉淀新想法融入下一代 AI 计算平台当中。 2.参与 AI 计算框架、业务平台的对接与技术支持，并在这个过程中实现 Connector 的应用价值。 3.深入学习和理解 AI 智算、数据湖仓、搜索推荐广告、云原生中间件等业务场景中的存储访问需求，与计算和存储产品团队协作，提供有竞争力的产品新功能和架构方案设计，并推动解决方案的落地。