字节跳动智能计算体系结构与操作系统研究实习生-STE团队-筋斗云人才计划

团队介绍：字节跳动STE团队一直致力于操作系统内核与虚拟化，系统基础软件与基础库的构建和性能优化、超大规模数据中心的系统稳定性和可靠性建设、新硬件与软件的协同设计等基础技术领域的研发与工程化落地，具备全面的基础软件工程能力，为字节上层业务保驾护航。 课题介绍： 背景：在当今数字化时代，随着云计算、人工智能和大数据技术的深度融合，现代数据中心正面临着指数级增长的算力需求与现有计算架构效能瓶颈之间的突出矛盾。传统以通用CPU为核心的体系架构在应对多样化负载时，暴露出诸多问题。例如，内存子系统带宽与时延约束导致的 “内存墙” 效应持续加剧，异构计算单元间的数据搬运开销占比超过实际运算时间，安全可信执行环境带来的性能损耗超过 30%，单机柜算力密度提升受限于功耗密度阈值。与此同时，新兴工作负载如AI训练、图计算、时序数据库等呈现出动态异构特征，对计算架构提出了差异化需求，传统固定架构难以实现最优能效比。 操作系统作为计算机体系结构下重要的软件基础设施与核心技术，在这样的背景下也面临着巨大的挑战。随着计算需求的增长和技术的进步，传统的同构计算环境已无法满足日益复杂的计算任务。现代计算场景中，硬件架构呈现高度异构化，包括 CPU、GPU、FPGA、TPU、NPU、DPU 等，同时边缘计算、云计算形成分布式网络。传统操作系统难以高效管理跨节点、跨架构的资源。加之人工智能训练等场景需要低延迟、高吞吐、安全可信，动态弹性的分布式系统支持，这就要求操作系统具备跨异构资源的统一抽象与调度能力。学术界和工业界对下一代计算机操作系统在分布式微内核架构，异构资源调度算法，跨层优化与编译器支持，安全可信技术，虚拟化和 Serverless，AI 驱动操作系统内核优化以及操作系统内置 AI 推理引擎等方面展开了积极的探索和研究。 课题挑战： 方向一：体系化结构方向 1）负载特征与架构优化：建立数据中心动态负载特征建模框架，深入研究面向数据中心Workload的体系结构设计与优化方法，使系统能够更好地适应多样化的负载需求； 2）CPU核心架构创新：研究高性能低功耗CPU核心架构，积极探索超标量流水线与数据流引擎的融合设计，提升CPU的性能和能效； 3）新型内存层次构建：构建支持存算一体化的新型内存层次结构，研究基于3D堆叠技术的近存计算架构，重点突破高带宽互连拓扑优化、混合内存控制器设计、内存访问模式预测算法，解决 “内存墙” 等问题； 4）安全可信架构构建：构建安全可信计算架构，包括侧信道攻击防御的微架构级实现、侧信道安全架构、自动侧 / 隐蔽通道泄漏检测，确保系统在复杂环境下的安全性和完整性； 5）数据中心架构创新：探索整机柜级系统总线扩展，构建内存语义互联的新型数据中心架构，研究基于新型总线协议 (CXL/UALink) 的全局内存共享机制，提升数据中心的整体性能和资源利用率； 6）可靠性增强技术研究：研究可靠性增强技术，包括开发基于机器学习的故障预测模型，设计自修复的微架构容错机制，研究硬件静默故障检测，以及系统及IP可靠性特性研究和数据分析，保障系统的稳定运行。 方向二：操作系统方向 1）操作系统关键技术突破：突破传统单机操作系统存在的硬件资源利用局限、功能扩展与升级运维复杂、数据管理与共享不足、安全性与可靠性欠佳等问题。在计算高度异构以及计算环境分布化的情况下，从硬件到软件建立完整的信任链，保证整个系统的安全性和完整性。同时，有效地管理和协调多个节点间的通信、数据同步及故障恢复，设计高效的调度算法来匹配任务需求与最适合的计算资源，以最大化性能和效率。操作系统需要能够理解不同类型的计算任务，并能根据实时的工作负载动态调整资源分配，实现跨异构资源的统一抽象与调度； 2）跨领域知识融合：本课题需要融合 OS、内核、算法、存储、虚拟化、网络、系统工程等多方面的跨领域知识和经验，以实现数据中心智能计算体系结构与操作系统的协同创新。

团队介绍：字节跳动STE团队一直致力于操作系统内核与虚拟化，系统基础软件与基础库的构建和性能优化、超大规模数据中心的系统稳定性和可靠性建设、新硬件与软件的协同设计等基础技术领域的研发与工程化落地，具备全面的基础软件工程能力，为字节上层业务保驾护航。 课题介绍： 背景：在当今数字化时代，随着云计算、人工智能和大数据技术的深度融合，现代数据中心正面临着指数级增长的算力需求与现有计算架构效能瓶颈之间的突出矛盾。传统以通用CPU为核心的体系架构在应对多样化负载时，暴露出诸多问题。例如，内存子系统带宽与时延约束导致的 “内存墙” 效应持续加剧，异构计算单元间的数据搬运开销占比超过实际运算时间，安全可信执行环境带来的性能损耗超过 30%，单机柜算力密度提升受限于功耗密度阈值。与此同时，新兴工作负载如AI训练、图计算、时序数据库等呈现出动态异构特征，对计算架构提出了差异化需求，传统固定架构难以实现最优能效比。 操作系统作为计算机体系结构下重要的软件基础设施与核心技术，在这样的背景下也面临着巨大的挑战。随着计算需求的增长和技术的进步，传统的同构计算环境已无法满足日益复杂的计算任务。现代计算场景中，硬件架构呈现高度异构化，包括 CPU、GPU、FPGA、TPU、NPU、DPU 等，同时边缘计算、云计算形成分布式网络。传统操作系统难以高效管理跨节点、跨架构的资源。加之人工智能训练等场景需要低延迟、高吞吐、安全可信，动态弹性的分布式系统支持，这就要求操作系统具备跨异构资源的统一抽象与调度能力。学术界和工业界对下一代计算机操作系统在分布式微内核架构，异构资源调度算法，跨层优化与编译器支持，安全可信技术，虚拟化和 Serverless，AI 驱动操作系统内核优化以及操作系统内置 AI 推理引擎等方面展开了积极的探索和研究。 课题挑战： 方向一：体系化结构方向 1）负载特征与架构优化：建立数据中心动态负载特征建模框架，深入研究面向数据中心Workload的体系结构设计与优化方法，使系统能够更好地适应多样化的负载需求； 2）CPU核心架构创新：研究高性能低功耗CPU核心架构，积极探索超标量流水线与数据流引擎的融合设计，提升CPU的性能和能效； 3）新型内存层次构建：构建支持存算一体化的新型内存层次结构，研究基于3D堆叠技术的近存计算架构，重点突破高带宽互连拓扑优化、混合内存控制器设计、内存访问模式预测算法，解决 “内存墙” 等问题； 4）安全可信架构构建：构建安全可信计算架构，包括侧信道攻击防御的微架构级实现、侧信道安全架构、自动侧 / 隐蔽通道泄漏检测，确保系统在复杂环境下的安全性和完整性； 5）数据中心架构创新：探索整机柜级系统总线扩展，构建内存语义互联的新型数据中心架构，研究基于新型总线协议 (CXL/UALink) 的全局内存共享机制，提升数据中心的整体性能和资源利用率； 6）可靠性增强技术研究：研究可靠性增强技术，包括开发基于机器学习的故障预测模型，设计自修复的微架构容错机制，研究硬件静默故障检测，以及系统及IP可靠性特性研究和数据分析，保障系统的稳定运行。 方向二：操作系统方向 1）操作系统关键技术突破：突破传统单机操作系统存在的硬件资源利用局限、功能扩展与升级运维复杂、数据管理与共享不足、安全性与可靠性欠佳等问题。在计算高度异构以及计算环境分布化的情况下，从硬件到软件建立完整的信任链，保证整个系统的安全性和完整性。同时，有效地管理和协调多个节点间的通信、数据同步及故障恢复，设计高效的调度算法来匹配任务需求与最适合的计算资源，以最大化性能和效率。操作系统需要能够理解不同类型的计算任务，并能根据实时的工作负载动态调整资源分配，实现跨异构资源的统一抽象与调度； 2）跨领域知识融合：本课题需要融合 OS、内核、算法、存储、虚拟化、网络、系统工程等多方面的跨领域知识和经验，以实现数据中心智能计算体系结构与操作系统的协同创新。

团队介绍：字节跳动STE团队一直致力于操作系统内核与虚拟化，系统基础软件与基础库的构建和性能优化、超大规模数据中心的系统稳定性和可靠性建设、新硬件与软件的协同设计等基础技术领域的研发与工程化落地，具备全面的基础软件工程能力，为字节上层业务保驾护航。 课题介绍： 背景：在当今数字化时代，随着云计算、人工智能和大数据技术的深度融合，现代数据中心正面临着指数级增长的算力需求与现有计算架构效能瓶颈之间的突出矛盾。传统以通用CPU为核心的体系架构在应对多样化负载时，暴露出诸多问题。例如，内存子系统带宽与时延约束导致的 “内存墙” 效应持续加剧，异构计算单元间的数据搬运开销占比超过实际运算时间，安全可信执行环境带来的性能损耗超过 30%，单机柜算力密度提升受限于功耗密度阈值。与此同时，新兴工作负载如AI训练、图计算、时序数据库等呈现出动态异构特征，对计算架构提出了差异化需求，传统固定架构难以实现最优能效比。 操作系统作为计算机体系结构下重要的软件基础设施与核心技术，在这样的背景下也面临着巨大的挑战。随着计算需求的增长和技术的进步，传统的同构计算环境已无法满足日益复杂的计算任务。现代计算场景中，硬件架构呈现高度异构化，包括 CPU、GPU、FPGA、TPU、NPU、DPU 等，同时边缘计算、云计算形成分布式网络。传统操作系统难以高效管理跨节点、跨架构的资源。加之人工智能训练等场景需要低延迟、高吞吐、安全可信，动态弹性的分布式系统支持，这就要求操作系统具备跨异构资源的统一抽象与调度能力。学术界和工业界对下一代计算机操作系统在分布式微内核架构，异构资源调度算法，跨层优化与编译器支持，安全可信技术，虚拟化和 Serverless，AI 驱动操作系统内核优化以及操作系统内置 AI 推理引擎等方面展开了积极的探索和研究。 课题挑战： 方向一：体系化结构方向 1）负载特征与架构优化：建立数据中心动态负载特征建模框架，深入研究面向数据中心Workload的体系结构设计与优化方法，使系统能够更好地适应多样化的负载需求； 2）CPU核心架构创新：研究高性能低功耗CPU核心架构，积极探索超标量流水线与数据流引擎的融合设计，提升CPU的性能和能效； 3）新型内存层次构建：构建支持存算一体化的新型内存层次结构，研究基于3D堆叠技术的近存计算架构，重点突破高带宽互连拓扑优化、混合内存控制器设计、内存访问模式预测算法，解决 “内存墙” 等问题； 4）安全可信架构构建：构建安全可信计算架构，包括侧信道攻击防御的微架构级实现、侧信道安全架构、自动侧 / 隐蔽通道泄漏检测，确保系统在复杂环境下的安全性和完整性； 5）数据中心架构创新：探索整机柜级系统总线扩展，构建内存语义互联的新型数据中心架构，研究基于新型总线协议 (CXL/UALink) 的全局内存共享机制，提升数据中心的整体性能和资源利用率； 6）可靠性增强技术研究：研究可靠性增强技术，包括开发基于机器学习的故障预测模型，设计自修复的微架构容错机制，研究硬件静默故障检测，以及系统及IP可靠性特性研究和数据分析，保障系统的稳定运行。 方向二：操作系统方向 1）操作系统关键技术突破：突破传统单机操作系统存在的硬件资源利用局限、功能扩展与升级运维复杂、数据管理与共享不足、安全性与可靠性欠佳等问题。在计算高度异构以及计算环境分布化的情况下，从硬件到软件建立完整的信任链，保证整个系统的安全性和完整性。同时，有效地管理和协调多个节点间的通信、数据同步及故障恢复，设计高效的调度算法来匹配任务需求与最适合的计算资源，以最大化性能和效率。操作系统需要能够理解不同类型的计算任务，并能根据实时的工作负载动态调整资源分配，实现跨异构资源的统一抽象与调度； 2）跨领域知识融合：本课题需要融合 OS、内核、算法、存储、虚拟化、网络、系统工程等多方面的跨领域知识和经验，以实现数据中心智能计算体系结构与操作系统的协同创新。

【我们是谁？】 阿里云智能是阿里巴巴集团的技术基石，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力。我们的团队专注于机器学习系统（MLSys）的前沿研究与工程实践，特别是为“通义”系列大规模语言模型（LLM）的训练、推理提供坚实的系统支撑。在这里，你将有机会参与构建和优化支撑万亿参数级别模型的超级工程，直接影响亿万用户的AI体验。 【为什么这个机会不容错过？——来自工业界的真实挑战与机遇】 大规模语言模型的研发是一项复杂的端到端系统工程。从海量数据的高效处理、万卡集群的分布式训练、精细化的后训练调优，到低延迟高吞吐的推理服务和云上弹性部署，每一个环节都充满了挑战，也孕育着巨大的创新机会。我们认为，虽然算法创新是驱动力，但在LLM的整个生命周期中，系统扮演着至关重要的角色。 以下是我们正在“通义”大模型及相关场景下积极探索并期待与你共同攻克的挑战： 1.超大规模预训练系统优化：追求极致效率与稳定性 ·系统行为的深度洞察：在万卡集群并行训练的极致规模下，如何设计高效、低侵扰的追踪系统（Tracing System）以精准理解系统真实运行状态，本身就是一个难题。例如，仅网络层追踪就面临数据量爆炸性增长的挑战，如何在海量数据中高效提取关键信息，指导性能优化。 ·并行策略的自动化与智能化：随着模型结构的快速迭代，如何针对新型架构自动设计并调整最优的并行策略（张量并行、流水线并行、数据并行、序列并行及其混合），在复杂的内存、计算、通信约束下取得最佳平衡，减少人工调优的巨大成本。 ·大规模集群的韧性与容错：尽管我们拥有先进的异步、跨多级存储的Checkpointing机制，但GPU集群的故障（硬件、软件、网络等）仍会导致训练中断和时间浪费。如何进一步提升系统的容错恢复能力，最大限度减少故障影响，保障训练任务的连续性和效率。 2.后训练（RLHF等）中的算法-系统协同设计：提升“智能”的性价比 ·复杂工作流的高效资源调度：后训练阶段（如RLHF）涉及采样、训练、评估等多个计算特点各异的任务。如何设计智能调度系统，自动、高效地为这些任务分配和管理计算、存储、网络资源，以最小化总体资源消耗，或最大化单位资源投入下模型效果的提升“斜率”。 ·算法与系统协同进化：后训练的算法仍在快速演进，如何设计灵活、可扩展的系统架构，以适应算法的不断变化，并反过来通过系统创新启发新的算法可能性。 3.云原生推理服务：敏捷、高效、经济地赋能万千应用 ·多样化业务负载与SLA保障：云上推理业务场景丰富，客户对吞吐量、延迟、成本等有着不同的服务等级协议（SLA）要求。如何设计统一而灵活的推理服务系统，满足从离线批量推理到在线实时服务的各种需求。 ·推理优化技术的敏捷集成与工程化：学术界和开源社区的推理优化技术（如量化、剪枝、FlashAttention、PagedAttention、投机采样、模型编译等）日新月异。如何构建一套敏捷的工程体系，快速评估、吸收、融合这些前沿技术，并将其稳定部署到在线服务中，持续提升推理效率。 ·极致的资源弹性与成本效益：在云环境中，如何通过精细化的资源调度、高效的多租户管理以及智能的流量预测，应对业务负载的剧烈波动，最大限度地减少空闲资源浪费，为用户提供最具成本效益的LLM服务。