滴滴AI-硬件设计-后端研发实习生

DFT方向： -负责block芯片中的DFT相关设计工作，包括MBIST，Scan，Boundary Scan等等 -提高测试覆盖率，产生测试向量并进行仿真，解决前后仿中遇到的问题 -协助其他团队完成芯片设计中DFT相关的Timing/Power-IR分析和收敛 硅后验证方向： -在芯片设计阶段，从系统应用和调试角度参与芯片定义 -结合业界标准规范和实际应用场景制定全面详细的validation plan -在post silicon阶段，负责芯片的bring-up和validation，分析并解决发现的问题 -与软硬件团队合作，基于主流AI模型，进行系统性能和功耗以及稳定性的分析与优化

【我们是谁？】 阿里云智能是阿里巴巴集团的技术基石，致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力。我们的团队专注于机器学习系统（MLSys）的前沿研究与工程实践，特别是为“通义”系列大规模语言模型（LLM）的训练、推理提供坚实的系统支撑。在这里，你将有机会参与构建和优化支撑万亿参数级别模型的超级工程，直接影响亿万用户的AI体验。 【为什么这个机会不容错过？——来自工业界的真实挑战与机遇】 大规模语言模型的研发是一项复杂的端到端系统工程。从海量数据的高效处理、万卡集群的分布式训练、精细化的后训练调优，到低延迟高吞吐的推理服务和云上弹性部署，每一个环节都充满了挑战，也孕育着巨大的创新机会。我们认为，虽然算法创新是驱动力，但在LLM的整个生命周期中，系统扮演着至关重要的角色。 以下是我们正在“通义”大模型及相关场景下积极探索并期待与你共同攻克的挑战： 1.超大规模预训练系统优化：追求极致效率与稳定性 ·系统行为的深度洞察：在万卡集群并行训练的极致规模下，如何设计高效、低侵扰的追踪系统（Tracing System）以精准理解系统真实运行状态，本身就是一个难题。例如，仅网络层追踪就面临数据量爆炸性增长的挑战，如何在海量数据中高效提取关键信息，指导性能优化。 ·并行策略的自动化与智能化：随着模型结构的快速迭代，如何针对新型架构自动设计并调整最优的并行策略（张量并行、流水线并行、数据并行、序列并行及其混合），在复杂的内存、计算、通信约束下取得最佳平衡，减少人工调优的巨大成本。 ·大规模集群的韧性与容错：尽管我们拥有先进的异步、跨多级存储的Checkpointing机制，但GPU集群的故障（硬件、软件、网络等）仍会导致训练中断和时间浪费。如何进一步提升系统的容错恢复能力，最大限度减少故障影响，保障训练任务的连续性和效率。 2.后训练（RLHF等）中的算法-系统协同设计：提升“智能”的性价比 ·复杂工作流的高效资源调度：后训练阶段（如RLHF）涉及采样、训练、评估等多个计算特点各异的任务。如何设计智能调度系统，自动、高效地为这些任务分配和管理计算、存储、网络资源，以最小化总体资源消耗，或最大化单位资源投入下模型效果的提升“斜率”。 ·算法与系统协同进化：后训练的算法仍在快速演进，如何设计灵活、可扩展的系统架构，以适应算法的不断变化，并反过来通过系统创新启发新的算法可能性。 3.云原生推理服务：敏捷、高效、经济地赋能万千应用 ·多样化业务负载与SLA保障：云上推理业务场景丰富，客户对吞吐量、延迟、成本等有着不同的服务等级协议（SLA）要求。如何设计统一而灵活的推理服务系统，满足从离线批量推理到在线实时服务的各种需求。 ·推理优化技术的敏捷集成与工程化：学术界和开源社区的推理优化技术（如量化、剪枝、FlashAttention、PagedAttention、投机采样、模型编译等）日新月异。如何构建一套敏捷的工程体系，快速评估、吸收、融合这些前沿技术，并将其稳定部署到在线服务中，持续提升推理效率。 ·极致的资源弹性与成本效益：在云环境中，如何通过精细化的资源调度、高效的多租户管理以及智能的流量预测，应对业务负载的剧烈波动，最大限度地减少空闲资源浪费，为用户提供最具成本效益的LLM服务。

团队介绍：字节芯片研发团队隶属于系统部，目前工作主要集中在芯片设计环节。该团队主要围绕字节自身业务展开芯片探索，为字节多项业务的专用场景定制硬件优化，设计多款基于先进半导体工艺的云端复杂芯片，以期提升性能、降低成本。早期若干芯片项目已经进入到量产部署阶段，有多次一版成功的投片经历，所用工艺包含多个主流的先进工艺节点。和系统部基础设施工作的整体协同，能更容易和更好地发挥芯片研发的价值。 课题介绍：探索电路、SoC和算法的协同架构；负责创新电路，架构和系统设计；与硬件设计团队合作，实现高协同的架构和系统设计。 研究方向：电路设计系统、芯片设计、半导体、机器学习、深度学习、计算机架构。 一、架构建模 1、负责AI芯片架构的探索与设计方案，包括计算/互联/存储等方向； 2、负责AI推理/训练系统的软硬件协同优化方案； 3、负责不同业务场景下AI模型结构和算子分析与硬件优化。 二、IP设计 1、负责数据中心内ASIC芯片的微架构探索、调研业界AI结构并完成量化分析、AI benchmark分析细化。 三、SoC设计 1、负责团队的技术视野储备。通过文献调研、技术交流、技术分享，增加团队对多个技术领域的技术积累； 2、参与软硬件协同设计，收集分析软硬件需求。平衡中后端，封装等系统限制，完成方案和IP的选择评估，确定芯片的功能特性和性能指标。参与定位并解决芯片的功能和性能问题； 3、理解系统需求，参与完成初始化流程、Debug、性能监测、异常处理等方案的制定； 4、负责SoC或子系统的架构文档撰写，完成硬件逻辑设计和优化； 5、负责SoC或子系统的执行交付工作，包括文档、代码、质量检查和其他交付件； 6、参与芯片项目完整执行过程，协助完成芯片的交付流程； 7、与封装和板级设计合作，理解系统限制，包括信号完整性、电源完整性、散热等。

团队介绍：专注于探索AI和智能硬件的结合，为用户提供更自然和便捷的交互体验的研发团队，隶属于产品研发与工程架构部。作为负责AI技术应用场景探索的部门，是字节在智能硬件领域提供综合方案研究的核心部门。我们欢迎期待心怀技术理想、不断挑战技术难题的“你”的加入，和顶尖团队一起参与技术攻坚，开启更多可能。 课题介绍： 背景：目前移动端处理器均是非对称异构多核处理器（big.LITTLE架构），之前的调度器(类)大多基于Linux原生的公平调度算法CFS/EEVDF。自EAS引入后，才使调度器第一次具备了能耗感知能力，通过EM（能耗模型）来量化调度行为导致的CPU能耗变化，从而做出能耗更优的大小核调度。但随着应用生态的日益多样和CPU算力的快速升级，EAS也暴露了自身的设计不足，如： 1、EM模型参数需要通过实验室数据模拟设定，设定后无法修改； 2、不能针对不同的场景做精细化的预估和调节； 3、功耗模型应用时未考虑任务自身的的指令执行效率和特征分类，从而做出一些不恰当的选择等； 4、为了充分发挥异构多核处理器的能效优势，精准计算和指导SoC的能效优化，迫切需要结合异构硬件特性实现对CPU指令吞吐性能感知和能效动态预估，打造一个面向AI新生态和能效智能校准能力的调度器； 5、进一步的，通过对异构计算能力的指令级能耗分解，并结合未来的芯片技术发展趋势，可以实现范围更广的多算力设备联合调度和能效建模，从软硬结合的角度构造核心竞争力，将SoC能效优化推到极致。 课题挑战： 1、开销：系统中需要实时监控和统计指令特征等信息，引入的开销需要控制在最小的范围内； 2、硬件制约：部分平台，对外提供的AMU/PMU事件较少，寄存器数量有限，可能要做分时复用设计；异构多核系统以及cache的多级设定，对指令的执行效率和产生的能效有较大扰动，需要结合架构做灰盒建模； 3、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性； 4、复合场景：多窗口，多应用，悬浮窗等不同场景下，能耗模型的普适性和准确性。 目标： 1、游戏、动效等场景，帧率不变，功耗优化10%。