阿里巴巴研究型实习生-面向大模型的先进SOC架构设计

专注于大模型后训练，包括蒸馏+SFT/RL等相关技术，目标提升LLMs/LMMs的综合效果以及垂直场景效果，同时降低模型尺寸以减少部署成本，具体职责包括： 1、深入探索LLM蒸馏技术，对大模型进行极致的轻量化，同时尽可能减少模型的综合性能/垂直领域性能损失； 2、从数据合成、蒸馏算法等方面，提出创新优化技术，减少蒸馏带来的灾难性知识遗忘问题； 3、提出强化学习等创新方法，提升蒸馏后小模型解决复杂问题的能力，探索面向不同的复杂度任务自动调整推理模型思考长度的技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的蒸馏+RL训练工具； 5、基于蒸馏+RL等后训练技术，面向Agent等LLM重点应用场景，构建业界领先的效果优化解决方案。

专注大语言模型强化学习的研究、探索和开发，具体职责包括： 1、针对多轮Agentic任务场景，开展基于大语言模型（LLM）的强化学习（RL）优化及奖励归因机制研究； 2、设计与实现创新型多轮Agentic RL训练与收敛优化方法，提高训练效率与任务泛化能力； 3、深入探索RL算法在提升智能体泛化性和鲁棒性方面的理论与工程实现，推动算法在实际复杂环境下的稳定应用； 4、推动研究成果在阿里云PAI平台的分布式训练、强化学习等核心产品框架中的集成与落地，支持工业级Agentic AI解决方案的研发和部署； 5、跟踪领域前沿动态，撰写高质量学术论文，申请相关发明专利，并在国际顶级学术会议（NeurIPS、ICLR、AAAI等）或期刊进行成果输出。

我们正在寻找对大模型在各种场景智能下的效能优化或智能体应用充满热情的优秀在读学生，参与大模型关键系统架构和场景化应用的前沿研究。你将深度参与千亿级大模型在复杂工业场景落地的“不可能三角”：高性能、低延迟、高自主性。 你将从以下四个核心应用方向中选择一个深入参与，开展系统性研究与工程实现： 1、面向自动驾驶/具身智能的端到端自动驾驶大模型训练优化：参与大规模分布式训练系统的性能分析与优化，包括数据并行、模型并行、流水线并行等策略的调优；参与自动驾驶核心模型（BEV、Transformer、Diffusion 等）中关键算子的性能 Profiling 与优化；基于 Transformer 架构的自动驾驶端到端模型（如 VLA，UniAD, VAD 等）的大规模预训练与微调，优化长序列感知与预测的对齐； 2、面向MoE大模型的训练推理优化：针对千亿级超大规模参数模型，深度参与类QWen/DeepSeek等MoE大模型的性能调优，研究 并行策略（张量、流水线、数据并行）下的通信重叠与显存优化；基于开源大模型推理引擎结合各类大模型和GPU/NPU等硬件，应用PD分离/DeepEP架构，探索高性能算子实现，结合编译优化，量化等手段提升模型推理性能； 3、图像视频与世界模型生成： 参与图像/视频生成模型（Diffusion Transformer、UNet、VAE、文本编码器等）的推理性能分析与端到端优化，提升生成速度与吞吐量；针对多步采样推理流程（DDPM / DDIM / Flow Matching 等）进行调度优化，探索步数压缩、缓存复用、投机采样等加速策略；协助构建推理性能基准测试体系，持续追踪优化效果；参与生成模型推理服务的工程化落地，包括多卡并行推理、动态 Batching、流式输出等方案的设计与实现； 4、大模型与推荐系统的融合创新，聚焦生成式算法或者推荐场景推理优化的研发：研究面向基于LLM的生成式召回技术，通过用户意图生成、Item ID/Title生成等方式，解决传统方法在语义鸿沟与长尾挖掘上的痛点，探索利用大模型直接生成召回和排序；针对生成式模型推理延迟高、资源消耗大的问题，研究算子优化能力、低精度计算、流式推理、投机采样等技术并应用模型推理技术。

1.负责语音识别/语种识别/情感识别等方向的算法研究和开发； 2.负责音频理解/用户意图理解等算法研究和开发； 3.语音统一多模态大模型：研究下一代多模态通用大模型技术范式，实现文本、语音、视觉模态的联合建模。