阿里巴巴研究型实习生 - 面向大语言模型的知识蒸馏技术研究

研究大规模深度学习模型训练芯片架构设计领域的技术攻关及技术创新，包括但不限于基于芯粒（chiplet）互联、芯片间互联、片上网络（NoC）、三维堆叠等先进芯片设计技术的应用、原型实现、算法优化及测试等内容，同时发表相应的技术论文。 工作职责： ● 技术研究：针对芯粒互联、芯片间互联、片上网络、三维堆叠等技术的应用，在大模型训练芯片中的架构设计和优化方案。报告将包含调研结果、架构选择的理论依据、性能对比分析等内容。 ● 架构仿真与评估：完成基于选定架构的仿真实验，并对比不同技术方案在吞吐量、延迟、功耗等方面的表现，提出优化方向并形成完整的评估报告。 ● 设计和验证：协助团队进行部分SoC架构的实现，包含但不限于互联方案的验证、片上网络拓扑的初步布局等。

专注大语言模型强化学习的研究、探索和开发，具体职责包括： 1、针对多轮Agentic任务场景，开展基于大语言模型（LLM）的强化学习（RL）优化及奖励归因机制研究； 2、设计与实现创新型多轮Agentic RL训练与收敛优化方法，提高训练效率与任务泛化能力； 3、深入探索RL算法在提升智能体泛化性和鲁棒性方面的理论与工程实现，推动算法在实际复杂环境下的稳定应用； 4、推动研究成果在阿里云PAI平台的分布式训练、强化学习等核心产品框架中的集成与落地，支持工业级Agentic AI解决方案的研发和部署； 5、跟踪领域前沿动态，撰写高质量学术论文，申请相关发明专利，并在国际顶级学术会议（NeurIPS、ICLR、AAAI等）或期刊进行成果输出。

我们正在寻找对大模型在各种场景智能下的效能优化或智能体应用充满热情的优秀在读学生，参与大模型关键系统架构和场景化应用的前沿研究。你将深度参与千亿级大模型在复杂工业场景落地的“不可能三角”：高性能、低延迟、高自主性。 你将从以下四个核心应用方向中选择一个深入参与，开展系统性研究与工程实现： 1、面向自动驾驶/具身智能的端到端自动驾驶大模型训练优化：参与大规模分布式训练系统的性能分析与优化，包括数据并行、模型并行、流水线并行等策略的调优；参与自动驾驶核心模型（BEV、Transformer、Diffusion 等）中关键算子的性能 Profiling 与优化；基于 Transformer 架构的自动驾驶端到端模型（如 VLA，UniAD, VAD 等）的大规模预训练与微调，优化长序列感知与预测的对齐； 2、面向MoE大模型的训练推理优化：针对千亿级超大规模参数模型，深度参与类QWen/DeepSeek等MoE大模型的性能调优，研究 并行策略（张量、流水线、数据并行）下的通信重叠与显存优化；基于开源大模型推理引擎结合各类大模型和GPU/NPU等硬件，应用PD分离/DeepEP架构，探索高性能算子实现，结合编译优化，量化等手段提升模型推理性能； 3、图像视频与世界模型生成： 参与图像/视频生成模型（Diffusion Transformer、UNet、VAE、文本编码器等）的推理性能分析与端到端优化，提升生成速度与吞吐量；针对多步采样推理流程（DDPM / DDIM / Flow Matching 等）进行调度优化，探索步数压缩、缓存复用、投机采样等加速策略；协助构建推理性能基准测试体系，持续追踪优化效果；参与生成模型推理服务的工程化落地，包括多卡并行推理、动态 Batching、流式输出等方案的设计与实现； 4、大模型与推荐系统的融合创新，聚焦生成式算法或者推荐场景推理优化的研发：研究面向基于LLM的生成式召回技术，通过用户意图生成、Item ID/Title生成等方式，解决传统方法在语义鸿沟与长尾挖掘上的痛点，探索利用大模型直接生成召回和排序；针对生成式模型推理延迟高、资源消耗大的问题，研究算子优化能力、低精度计算、流式推理、投机采样等技术并应用模型推理技术。

1.负责语音识别/语种识别/情感识别等方向的算法研究和开发； 2.负责音频理解/用户意图理解等算法研究和开发； 3.语音统一多模态大模型：研究下一代多模态通用大模型技术范式，实现文本、语音、视觉模态的联合建模。