阿里云研究型实习生 - 数据中心智能网卡面向host侧的Packet spray技术研究

随着人工智能技术的飞速发展，AI 大模型对计算资源的需求日益增长。数据中心作为支撑 AI 运算的基础设施，其网络性能和稳定性直接影响 AI 模型训练的效率和推理准确性。然而，当前的数据中心网络在处理大规模数据传输、高并发请求以及复杂网络拓扑时仍然面临诸多挑战。为此，开发新一代数据中心网络技术意在提升网络传输速度、降低延迟、增强网络的容错以及故障定位等能力，对于推动 AI 技术的进一步发展具有重要意义。本项目意在聚焦于阿里云面向 AI 大模型训练的网络性能和稳定性优化技术，具体解决如下几个关键问题： 1、关于 AI 训练网络中故障的快速响应和定位问题，如何通过建立集合通信 log、上层训练框架代码 log 以及底层网络拓扑信息进行横向关联后进行精准、高校的故障根因定位； 2、AI 大模型训练要求网络能够针对故障快速恢复，恢复过程要保证新设备的热迁移，以及如何选择被迁移设备，保证客户侧无感知 3、关于下一代集合通信以及网卡侧的传输协议设计，针对性的对大模型训练和推理特征设计一套行之有效的优化技术，针对其周期性、突发式带宽的传输协议解决关键的技术挑战 交付指标： 1、发表 1-2 篇国际顶级会议论文（如 SIGCOMM/NSDI/OSDI/SOSP） 2、专利 1-2 发明专利 3、能够实际在阿里云生产环境运行的系统（非原型系统），产生实际的结果收益

一、团队介绍 高德视觉技术中心为高德业务提供全面的核心视觉技术，是高德时空互联网领域重要的技术驱动力。我们专注于图像识别、点云识别、三维重建和传感器融合定位等领域， 我们致力于研究和开发业内领先的感知、SLAM、重建和多模态大模型等算法， 促科技创新，与生态共进，连接真实世界，做好一张活地图，让出行和生活更美好！ 通过视觉技术中心的春季实习生项目，高校学生通过此项目可以接触到高德真实的业务场景和海量时空大数据，在优秀的前辈与高德技术人交流学习中加速成长。我们希望更多优秀的高校同学加入我们，一起打造极致的算法和产品体验。 二、基本要求 面向预期于26、27届毕业的同学，可以连续实习至少三个月的同学优先。实习地点：北京，我们将提供有竞争力的实习薪酬和充足的训练资源。 三、算法实习生 职位描述 团队主要聚焦视觉、矢量地图、多模态大模型技术，我们期待你的工作将覆盖以下至少一个技术方向： 1. 探索自动驾驶场景下的在线感知、建图、关联等前沿技术，包括但不限于矢量地图构建、矢量地图关联等； 2. 探索多模态大模型在下游任务中的技术能力，包括但不限于图文对齐/识别、跨模态理解生成、多模态检索、VLM端到端自动驾驶、世界模型等；

团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 课题背景： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模LLM for Infra 服务；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向 AI 场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。

团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 课题背景： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模LLM for Infra 服务；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向 AI 场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。