小红书AI infra实习生

1. 负责分布式大语言模型 (LLM) 推理系统的底层基础设施研究与探索，包括 GPU 和 RDMA 等，提升 GPU 环境下的稳定性和计算效率； 2. 负责大规模模型训练场景优化工作，通过建设全面的异常发现、故障自愈机制，提升平台训练 MFU，降低训练成本； 3. 基于容器以及 Kubernetes 技术，负责对机器学习领域中的资源调度、模型训练、模型推理、数据管理等多个子方向的成本效率优化工作； 4. 持续关注并跟进业界技术发展，比如超长上下文、思维链、多模态方向。

1. 负责分布式大语言模型 (LLM) 推理系统的底层基础设施研究与探索，包括 GPU 和 RDMA 等，提升 GPU 环境下的稳定性和计算效率； 2. 负责大规模模型训练场景优化工作，通过建设全面的异常发现、故障自愈机制，提升平台训练 MFU，降低训练成本； 3. 基于容器以及 Kubernetes 技术，负责对机器学习领域中的资源调度、模型训练、模型推理、数据管理等多个子方向的成本效率优化工作； 4. 持续关注并跟进业界技术发展，比如超长上下文、思维链、多模态方向。

作为研究型实习生，你将加入公司大模型训练加速方向的研究团队，参与超大规模场景下，文本和多模态领域 pre/post/alignment 方向上的高效训练相关的 前沿策略和工程实现工作。该岗位以科研驱动为主，进行理论研究、策略设计、工程原型与实验评估，并鼓励发表顶会/期刊论文与开源贡献。 1、 研究RL场景加速技术，探索前沿的训推分离、梯度压缩、通信压缩、计算压缩 相关技术，改进RL场景不同模型的训练效率，提升e2e吞吐达到业界SOTA水平； 2、 研究前沿的pretrain加速技术，探索不同模态下的 IO/流水调度/算子融合/低精度量化 等加速策略，改进超大规模训练下训练效率，提升MFU； 3、研究大模型训练策略自动寻优技术，通过模型显存、计算、通信 自动化分析和模拟，实现不同模型在不同硬件、不同规模下的训练性能最大化； 4、将研究成果落地为可复现的工程原型，集成/对接业界主流的开源训练框架(megatron/veRL); 5、撰写技术报告与论文，与团队成员及外部学术界保持沟通交流；

我们致力于解决大模型（LLM）推理领域的根本性挑战，现诚邀拥有深厚研究背景的博士或硕士研究生加入我们的团队。您将： 1. 探索大模型推理的核心瓶颈： 深入研究大模型推理中计算密集与内存受限等核心挑战的本质。提出并验证创新的并行策略、调度算法与系统优化方案，以突破跨设备集群（多机）和异构硬件环境下的推理效率极限，为下一代高效推理引擎奠定理论基础并实现突破性贡献。 2. 定义硬件感知的高性能编译与协同优化： 研究并设计面向多样化硬件体系结构（如GPU, NPU, ASIC等）的高性能算子编译优化框架。开创性地探索计算与通讯的深度融合与协同优化方法，构建理论模型并实现系统级性能的显著提升。 3. 创新下一代高效模型架构与推理范式： 前瞻性地结合未来硬件发展趋势，深入解构现有模型架构的计算特性。致力于研究并发明计算效率显著提升的新型模型结构（如稀疏激活、条件计算等）和颠覆性的推理范式（如动态计算路径、混合精度推理策略），引领高效模型设计的前沿方向。 4. 引领前沿模型压缩与加速算法的研究与实践： 系统性地研究模型压缩与加速领域的最新技术（如量化、结构化/非结构化剪枝、投机采样、稀疏化、知识蒸馏等）的内在机理与极限。勇于探索并实践具有理论保障和实用价值的创新算法，为模型的高效部署开辟新路径，并推动该领域的技术边界。