阿里巴巴研究型实习生-面向开放环境的通用具身智能体泛化优化研究
任职要求
1. 国内外博士生,计算机科学、人工智能、机器人学、自动化或相关专业,实习时间不少于 6 个月; 2. 在具身智能、机器人学习、强化学习、多模态大模型(VLM/VLA)、世界模型(WFM/WAM)、模仿学习、计算机视觉等方向中,至少一个有扎实研究基础; 3. 熟悉 PyTorch,具备扎实的编程能力(Python 为主),能独立完成从算法设计到论文撰写的完整研究流程; 4. 在相关领域顶会/期刊以第一作者或核心作者身份发表过论文。 加分项: 1. 有 VLA/VLM 模型训练经验,熟悉 Qw…
工作职责
阿里云PAI深度学习团队正在布局**物理 AI 与具身智能**方向,寻找博士研究型实习生,聚焦具身智能体从实验室到开放世界泛化的核心瓶颈,围绕以下内容开展前沿研究: 1. **多源数据驱动的跨域泛化**:研究 VLA 与 WAM 两条路线下多源异构数据(遥操作轨迹、人类演示、仿真数据、无标注视频)的差异化利用策略、跨本体统一动作表示、以及数据多样性优化,提升智能体在分布外场景下的泛化能力。 2. **RL 后训练驱动的行为泛化**:研究基于世界模型的想象训练与大规模 RL 后训练方法,突破行为克隆的泛化边界,涵盖通用奖励设计、异构架构 RL 适配、以及部署端持续进化闭环。 3. **物理AI研发闭环全链路搭建**:参与物理AI研发基础设施建设,包括数据采集与管理流水线、VLM/VLA与WFM/WAM等基础模型的训练与评测平台、以及仿真-真机部署闭环工具链,为上述研究方向提供可复用的AI Infra支撑。 核心算法成果将沉淀至 ModelScope、HuggingFace 及 PAI 开源算法库,支持在 NeurIPS、ICML、ICLR、CoRL、RSS、CVPR、ICCV、ECCV等顶会发表论文。
下一代AI应用场景复杂多样,对推理加速提出迫切需求。我们将系统性探索从服务化优化提升资源效能,到前沿压缩算法设计,再到高性能算子优化等关键层面,致力于构建一套灵活、高效的推理加速体系,为下一代AI技术的广泛落地与创新突破注入强劲动力。在这里,你将拥有充分的探索空间和资源支持,和我们一起挑战具有业界影响力的高价值课题。 核心职责与挑战 我们希望你对技术充满好奇,并具备出色的动手能力。在导师的指导下,你将参与到以下一项或多项富有挑战的工作中: 1. 下一代生成模型推理技术探索: a. LLM/MLLM: 探索针对AR的生成特点,探索超高倍投机采样、模型压缩、efficient attention、蒸馏等技术。 b. Diffusion: 探索sparse attention、cache、采样步数消减等技术。 c. 软硬结合的优化技术:探索极低比特量化、稀疏计算等硬件依赖的前沿加速技术。 2. 极致性能的推理引擎工程实践: a. 深入分析与优化现有推理框架(如vLLM, TensorRT-LLM等)的性能瓶颈,进行从算子到系统层面的全栈优化。 b. 精通CUDA/CUTLASS/Triton等底层编程技术,针对新型Transformer架构变种,手写高性能算子,压榨硬件的每一分潜力。 c. 设计和实现高效的KV Cache管理与压缩方案,优化请求调度与批处理策略,最大化系统吞吐并降低延迟。
1.负责多模态理解大模型的前沿算法研究、实现与优化,重点攻克图像/视频理解、视觉问答、跨模态交互等关键任务。 2.参与构建和清洗大规模多模态数据集,探索数据增强策略,并可能建设高效的数据生产、标注和评估 pipeline,涵盖通用数据、视频、OCR等场景。 3.具备技术前瞻性与创新能力,跟踪国际最新技术动态,探索如多模态理解创新架构、音视频理解、Agentic RAG、AI Memory等新方向,并提出创新算法或方案,推动学术前沿发展。
研究大规模深度学习模型训练芯片架构设计领域的技术攻关及技术创新,包括但不限于基于芯粒(chiplet)互联、芯片间互联、片上网络(NoC)、三维堆叠等先进芯片设计技术的应用、原型实现、算法优化及测试等内容,同时发表相应的技术论文。 工作职责: ● 技术研究:针对芯粒互联、芯片间互联、片上网络、三维堆叠等技术的应用,在大模型训练芯片中的架构设计和优化方案。报告将包含调研结果、架构选择的理论依据、性能对比分析等内容。 ● 架构仿真与评估:完成基于选定架构的仿真实验,并对比不同技术方案在吞吐量、延迟、功耗等方面的表现,提出优化方向并形成完整的评估报告。 ● 设计和验证:协助团队进行部分SoC架构的实现,包含但不限于互联方案的验证、片上网络拓扑的初步布局等。