阿里云研究型实习生 - 超大模型下游任务迁移技术在泛内容安全以及智能体安全方向的应用研究

随着模型尺寸和数据规模的持续扩大，预训练任务已成为AI研究和发展中最为资源密集的环节之一。本项目旨在深入的理解预训练任务的workload特点，定位性能瓶颈，并进行优化从而降低预训练任务的成本开销。例如从显存，通信，计算优化等方面优化MoE大规模训练任务的吞吐，支持包括通义实验室等领域方向。

专注于超大规模分布式LLM推理系统的研究、探索和开发，具体职责包括： 1、探索高性能的、可扩展的分布式LLM推理引擎，支持超大规模LLM的高效部署； 2、深入优化高性能算子、运行时、分布式策略等，打造业界领先的LLM推理引擎； 3、分析现有引擎和典型负载的性能瓶颈，提出并实现创新的优化技术； 4、结合阿里云PAI平台产品服务，提供可靠高效的引擎技术方案，支持客户加速模型推理； 5、针对LLM重点场景构建业界领先的优化解决方案。

依托淘宝、天猫超大规模商业场景，我们致力于通过最前沿的多模态大模型技术驱动万亿级交易额的增长。在这里你将面对业界最复杂的电商图文、视频语境，与顶尖团队一起探索 AIGC 与多模态技术在搜索广告全链路（召回、排序、创意生成）的深度融合与变现。包括并不限于： 1. 负责电商多模态统一表征： 构建面向海量商品、直播、短视频的超大规模预训练模型（VLM），解决多模态语义对齐、细粒度特征提取及跨模态检索难题。 2. 负责生成式广告物料（AIGC）： 探索 Diffusion Model、LLM 在广告创意自动生成（文案、头图、视频步进）中的应用，提升物料投放质量与点击转化率。 3. 负责多模态驱动的商业决策： 将多模态感知能力深度注入广告全链路（从搜索词理解到广告 CTR/CVR 预估），实现从“看懂图片”到“理解意图”的决策升级。 4. 负责全链路多物料优化： 针对商品、直播间、短视频等多类型物料，设计统一的跨模态排序算法，优化搜索场景下的多元流量分配效率。 5. 负责视觉底层技术创新： 针对电商复杂场景，优化 OCR、商品检测、度量学习及视觉搜索等经典任务，建立行业领先的视觉基座。

我们正在寻找对大模型系统优化充满热情的优秀在读学生，参与大模型后训练阶段（Post-Training）关键系统与架构的前沿研究。你将深度参与千亿级大模型在强化学习训练、推理效率、训推分离架构、智能体（Agent）系统等方面的系统级优化工作，探索高MFU、低延迟、高吞吐的下一代AI基础设施。 如果你热爱系统与AI的交叉领域，希望在真实超大规模场景中打磨技术，欢迎加入我们，与顶尖研究者和工程师共同推动大模型系统的技术边界！ 研究方向与实习内容： 你将从以下四个核心方向中选择1-2个深入参与，开展系统性研究与工程实现： 1. 后训练 MFU（Model FLOPs Utilization）优化 研究SFT、RLHF、DPO等后训练任务中的计算效率瓶颈； 设计高MFU的训练策略与系统支持，优化计算密度（如序列填充、混合批次、梯度累积等）； 探索算力利用率提升路径，结合通信、显存、计算进行端到端建模与优化。 2. 强化学习推理框架优化 针对RLHF中大量采样推理的需求，优化推理延迟与吞吐（如Speculative Decoding、KV Cache复用、动态批处理）； 设计轻量、高效的推理引擎，支持多轮对话、长上下文、流式生成等复杂场景； 探索训练-采样协同优化，降低推理端对训练整体效率的制约。 3. 强化学习训推分离架构优化 构建解耦的“训练-采样”系统架构，支持高并发采样与异步训练更新； 研究采样集群与训练集群之间的资源调度、数据同步与负载均衡机制； 实现弹性扩缩容、故障恢复、版本管理等系统能力，提升整体稳定性与可扩展性。 4. Agent 框架优化与系统支撑 研究面向复杂任务的Agent执行框架，优化工具调用、状态管理、多步规划的系统性能； 构建低延迟、高并发的Agent运行时环境，支持大规模仿真与自动评估； 探索Agent工作流的可复现性、可观测性与调试支持，提升研发效率。