蚂蚁金服研究型实习生-大规模训练自动并行技术研究

【我们是谁？】 阿里云智能是阿里巴巴集团的技术基石，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力。我们的团队专注于机器学习系统（MLSys）的前沿研究与工程实践，特别是为“通义”系列大规模语言模型（LLM）的训练、推理提供坚实的系统支撑。在这里，你将有机会参与构建和优化支撑万亿参数级别模型的超级工程，直接影响亿万用户的AI体验。 【为什么这个机会不容错过？——来自工业界的真实挑战与机遇】 大规模语言模型的研发是一项复杂的端到端系统工程。从海量数据的高效处理、万卡集群的分布式训练、精细化的后训练调优，到低延迟高吞吐的推理服务和云上弹性部署，每一个环节都充满了挑战，也孕育着巨大的创新机会。我们认为，虽然算法创新是驱动力，但在LLM的整个生命周期中，系统扮演着至关重要的角色。 以下是我们正在“通义”大模型及相关场景下积极探索并期待与你共同攻克的挑战： 1.超大规模预训练系统优化：追求极致效率与稳定性 ·系统行为的深度洞察：在万卡集群并行训练的极致规模下，如何设计高效、低侵扰的追踪系统（Tracing System）以精准理解系统真实运行状态，本身就是一个难题。例如，仅网络层追踪就面临数据量爆炸性增长的挑战，如何在海量数据中高效提取关键信息，指导性能优化。 ·并行策略的自动化与智能化：随着模型结构的快速迭代，如何针对新型架构自动设计并调整最优的并行策略（张量并行、流水线并行、数据并行、序列并行及其混合），在复杂的内存、计算、通信约束下取得最佳平衡，减少人工调优的巨大成本。 ·大规模集群的韧性与容错：尽管我们拥有先进的异步、跨多级存储的Checkpointing机制，但GPU集群的故障（硬件、软件、网络等）仍会导致训练中断和时间浪费。如何进一步提升系统的容错恢复能力，最大限度减少故障影响，保障训练任务的连续性和效率。 2.后训练（RLHF等）中的算法-系统协同设计：提升“智能”的性价比 ·复杂工作流的高效资源调度：后训练阶段（如RLHF）涉及采样、训练、评估等多个计算特点各异的任务。如何设计智能调度系统，自动、高效地为这些任务分配和管理计算、存储、网络资源，以最小化总体资源消耗，或最大化单位资源投入下模型效果的提升“斜率”。 ·算法与系统协同进化：后训练的算法仍在快速演进，如何设计灵活、可扩展的系统架构，以适应算法的不断变化，并反过来通过系统创新启发新的算法可能性。 3.云原生推理服务：敏捷、高效、经济地赋能万千应用 ·多样化业务负载与SLA保障：云上推理业务场景丰富，客户对吞吐量、延迟、成本等有着不同的服务等级协议（SLA）要求。如何设计统一而灵活的推理服务系统，满足从离线批量推理到在线实时服务的各种需求。 ·推理优化技术的敏捷集成与工程化：学术界和开源社区的推理优化技术（如量化、剪枝、FlashAttention、PagedAttention、投机采样、模型编译等）日新月异。如何构建一套敏捷的工程体系，快速评估、吸收、融合这些前沿技术，并将其稳定部署到在线服务中，持续提升推理效率。 ·极致的资源弹性与成本效益：在云环境中，如何通过精细化的资源调度、高效的多租户管理以及智能的流量预测，应对业务负载的剧烈波动，最大限度地减少空闲资源浪费，为用户提供最具成本效益的LLM服务。

研究领域： 人工智能 项目简介： 蚂蚁国际当前处于全球化和AI规模化应用的战略关键节点中，为支持多条业务线的业务规模化增长，蚂蚁国际风控致力于AI的创新及其在风控场景的应用。应用场景包括但不限于基于多智能体的风控决策系统， Deepfake识别，风控深度推理大模型等解决实际业务痛点。团队鼓励创新，勇于探索及突破前沿AI能力边界。 1.负责foundation model和生成式AI智能体构建，追踪业界文本生成、思维学习、内容理解等方向的最新技术，极致优化预训练、微调、领域知识注入、RLHF、RM、AI可解释能力。 2.负责AI技术前沿技术跟踪、创新和落地，例如，利用意图理解、图文理解等构建新一代的生成式审核机器人与辅助系统，运用反馈标注、知识体系建设、知识图谱构建等任务；利用多模态技术对图像、文本、结构化数据进行融合学习，致力于挖掘风控场景问题并全面提升风险运营效率，并帮助实现对合规、欺诈、洗钱等风险的高效管控。 3.深入跟踪调研前沿技术方向 ，包括但不限于 NLP/CV/多模态/智能体等，并适时进行技术分享。推动相关领域技术创新，进行专利申请和学术文章发表，产出至少一篇CCF-A以上论文。

团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 课题背景： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模LLM for Infra 服务；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向 AI 场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。

团队介绍：字节跳动基础架构团队主要负责公司云基础建设，支撑着字节跳动旗下多款APP产品，如抖音、今日头条、番茄小说、西瓜视频、飞书、剪映等，同时也负责支持火山引擎公有云业务。迄今为止，我们通过云技术管理着百万量级的服务器构成的超大数据中心；我们通过字节深度优化的Kubernetes管理超过千万容器实例支持10万+微服务；我们还通过丰富的存储产品矩阵，如NewSQL、NoSQL、云存储等治理EB级的数据资产；我们积极拥抱开源和创新的软硬件架构，致力于构建业界领先的云基础设施，为整个公司的业务和客户发展保驾护航。我们热切期待对技术有追求、对大型系统有深刻见解的同学加入基础架构团队一起构建基础设施系统。 课题介绍： 课题背景： 在大语言模型蓬勃发展的当下，本课题聚焦于智能云基础设施与数据处理关键技术的多维度研究，旨在全面提升云服务在 AI 场景下的综合性能与效率。 课题挑战： 1、新一代搜索型数据库：当前产业界广泛应用的ElasticSearch面临数据与用户需求的深刻变革。需实现语义检索升级，突破关键词匹配限制，以满足学术研究等领域对语义理解和精准检索的要求；具备处理和融合多模态数据的能力，应对互联网图像、音视频多模态数据的爆发式增长；优化检索过程，更好地支持检索增强生成（RAG）技术，为语言模型提供优质信息；同时，需应对各行业海量数据存储检索压力，提升搜索实时性与跨语言能力； 2、面向LLM的下一代智能云基础架构：一方面，自动化和智能化管理基础架构各系统生命周期，深度融合人工智能与基础架构关键系统，建设大规模LLM for Infra 服务；另一方面，针对新涌现的LLM应用场景，在基础架构各个领域进行前沿技术创新，与字节工程团队合作，设计和开发高性价比且简单易用的下一代大模型基础架构，为火山引擎奠定技术与业务增长基础； 3、面向 AI 场景的serverless高性能弹性文件系统关键技术研究：大模型时代数据量爆炸式增长，当前文件系统多采用中心化元数据架构，难以水平扩展，限制文件系统规模及元数据性能。本研究将围绕元数据扩展性、与大模型深度结合提供Data Insight、设计高性能元数据单机引擎、实现任意目录快照、融合文件系统和对象存储元数据、内存加速、提供QoS（性能租户隔离和目录隔离）、故障处理（故障域隔离和故障无损）以及研发高性能客户端（用户态文件协议和DPU卸载）等关键技术展开； 4、面向大规模AI集群的高速通信和稳定性优化：随着大模型训练/推理业务规模增长，底层高速网络面临挑战。一方面，需解决GPU服务器硬件资源利用率偏低问题，包括充分利用CPU和内存空闲资源，以及研发计算通信融合的高性能集合通信库，实现通信算子与计算任务的深度融合；另一方面，在稳定性方面，提升故障快速发现和根因定位能力，解决网络吞吐不达预期等典型故障。