阿里巴巴研究型实习生 - 下一代大模型评测方法与系统

随着大模型技术迅猛发展，模型迭代速度远超传统评测体系更新。当前行业面临核心痛点：复杂任务与长尾场景缺乏有效评估标准，主观指标难以量化，人工评测成本高、效率低。现有系统难以支撑大规模模型集成与快速实验，制约了模型在真实业务中的落地。本项目旨在构建下一代评测体系，解决评估滞后与对齐难题，确保模型能力可测、可控、可用，为业务场景提供坚实技术底座，推动 AI 从“可用”向“好用”跨越，满足产业界对高质量模型的迫切需求。 1. 深度挖掘大模型在复杂任务、长尾场景中的弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集； 2. 参与 LLM-as-a-Judge 方案的设计与实现，训练高精度的 Reward Model（奖励模型），建模人类偏好，提升模型在指令遵循、创造性等主观评价上的表现； 3. 设计高效的 Reward Signal（奖励信号）并合成对应数据，通过强化学习（RL）算法持续提升模型的能力上限与泛化性； 4. 参与开发 Evaluation 与 Reward System 所需的工程框架，简化多任务测试流程，提升大规模模型集成与实验的效率； 5. 跟踪全球大模型最新进展（如 Agent 评测、多模态对齐、自动化数据合成等），推动研究成果在真实业务场景中的落地。

1、参与基于阿里云AI平台的大模型与多模态Agent工具链建设，涵盖Agent RL、Agent 架构优化、Agent 自进化、通用SubAgent效果提升等全栈能力，打造高效、易用、可扩展的Agent开发工具，赋能千行百业智能化升级； 2、基于云上的Agent开发工具，面向通用agent，类openclaw个人助理、企业级Agent、ChatBI、智能机器人等核心场景，构建端到端的Agent解决方案，持续优化模型效果、推理性能与用户体验，树立行业最佳实践标杆； 3、紧跟全球大模型、多模态、智能体 前沿技术演进，在算法效能、架构创新与工程落地方面持续突破，推动技术成果转化为学术影响力与商业价值。

下一代AI应用场景复杂多样，对推理加速提出迫切需求。我们将系统性探索从服务化优化提升资源效能，到前沿压缩算法设计，再到高性能算子优化等关键层面，致力于构建一套灵活、高效的推理加速体系，为下一代AI技术的广泛落地与创新突破注入强劲动力。在这里，你将拥有充分的探索空间和资源支持，和我们一起挑战具有业界影响力的高价值课题。 核心职责与挑战 我们希望你对技术充满好奇，并具备出色的动手能力。在导师的指导下，你将参与到以下一项或多项富有挑战的工作中： 1. 下一代生成模型推理技术探索: a. LLM/MLLM: 探索针对AR的生成特点，探索超高倍投机采样、模型压缩、efficient attention、蒸馏等技术。 b. Diffusion: 探索sparse attention、cache、采样步数消减等技术。 c. 软硬结合的优化技术：探索极低比特量化、稀疏计算等硬件依赖的前沿加速技术。 2. 极致性能的推理引擎工程实践: a. 深入分析与优化现有推理框架（如vLLM, TensorRT-LLM等）的性能瓶颈，进行从算子到系统层面的全栈优化。 b. 精通CUDA/CUTLASS/Triton等底层编程技术，针对新型Transformer架构变种，手写高性能算子，压榨硬件的每一分潜力。 c. 设计和实现高效的KV Cache管理与压缩方案，优化请求调度与批处理策略，最大化系统吞吐并降低延迟。

基于开源的 Diffusion 图像和视频生成模型，构建基础推理和训练引擎，探索前沿的 AIGC 技术，具体职责包括： 1、加入魔搭社区 DiffSynth-Studio 等开源项目的开发，接入先进的图像和视频生成模型，为业界提供领先的推理和训练引擎基建。 2、基于丰富的开源模型生态，探索 AIGC 技术的全新能力，开展多元化的科研项目，包括但不限于图像生成的思维链、跨模态模型的能力集成、理解-生成统一架构模型等，发表高水平学术论文。 3、参与魔搭社区的运营活动，为新模型的开源提供技术支持，推动 AI 技术的普及推广。