蚂蚁金服研究型实习生-基于大模型VLA的控制技术研究

职位概述 我们正在寻找在视觉-语言-动作（Vision-Language-Action, VLA）领域具有扎实理论基础和丰富实践经验的算法工程师或研究员，致力于构建下一代通用智能机器人系统。你将参与从数据构建、模型设计到仿真训练与实机部署的全链路研发，推动 VLA 大模型在机械臂操作、人形机器人控制等复杂工业与开放场景中的前沿探索与实际落地。 职位描述（Responsibilities） 1. 前沿算法研究与复现 ○ 跟踪 VLA 领域最新进展（如 OpenVLA、RT-2、Pi0、RDT、Diffusion Policy 等），完成 SOTA 算法在仿真与实机环境下的复现与性能分析； ○ 探索基于大模型的端到端机器人决策框架，实现感知→理解→规划→动作的闭环。 2. VLA 模型架构设计与优化 ○ 设计面向工业场景的 VLA 模型结构，重点解决多模态特征对齐、动作序列生成、推理效率优化等问题； ○ 提升机械臂在复杂任务中的操作精度、泛化能力与鲁棒性。 3. Scaling 研究与泛化能力提升 ○ 开展 VLA 的 scaling law 研究，涵盖数据规模、模型结构、机器人构型等维度； ○ 实现长序列任务执行、跨任务技能迁移与动作泛化，在更复杂的工厂或开放环境中验证模型上限。 4. 数据系统与自动标注开发 ○ 参与多模态大模型所需的数据清洗、自动标注与增强系统的开发； ○ 探索高效的数据合成方法（如 sim2real 数据生成、LLM 辅助标注），保障数据质量与多样性。 5. 仿真训练与真实部署 ○ 基于 Isaac Sim / Gym / Lab、MuJoCo 等平台搭建高保真仿真环境，构建强化学习与模仿学习训练框架； ○ 设计 real2sim2real 迁移策略，加速算法从仿真到现实世界的部署； ○ 具备实机调试经验，能独立完成模型在机械臂或人形机器人上的部署与迭代。

多模态大模型与推荐系统的结合应用是当前业界前沿的研究方向，旨在通过结合多模态大模型和用户行为数据来提升推荐系统的性能。阿里云人工智能平台（PAI）团队正致力于这一领域的探索与实践，以解决跨场景推荐、冷启动等问题，提高推荐模型在行为数据稀疏场景下的表现。我们的研究和开发方向包括但不限于： 1. 多模态大模型与行为数据的融合：研究多模态大模型（如图像、文本等）与用户行为数据结合的微调训练方法，探索最佳的数据融合策略。 2. 特征对齐：探索新的建模方式，实现多模态特征与用户行为特征之间的对齐，确保模型能够充分利用多种类型的数据提升推荐效果。 3. 推荐模型的优化：在现有推荐模型的基础上，引入多模态特征，优化推荐算法，特别是在冷启动和跨场景推荐等挑战性场景下，提升推荐效果。

自然文本生成是大语言模型在应用落地时最具前景的方向之一，文本摘要、文本扩写和文本润色等能力可以将用户从繁重枯燥的文宇工作中解放出来，显著提高用户的工作效率和行业的生产效率。本项目旨在探索自然文本生成还存在以下若干难题： 1）知识注入的问题：大语言模型需要高质量的数据进行训练，然而现有的通用和行业数据体系的构建相对落后，我们希望通过创新的算法从大量原始的、质量参差不齐的数据中自动挑选高质量数据进行训练，同时通过数据浓度和学习进度的调控平衡大语言模型在各个方向的文本生成能力； 2）知识应用的问题：部分行业如政务、医疗对生成文本的相关度和真实性有很高的要求，然而大语言模型在理解长文本和生成长文本时，存在抓不住重点和生成幻觉的问题； 3）知识评估的问题：文本生成的内容目前仅能依靠人工的方式进行评测，限制了评测的范围和算法迭代的速度。我们希望模型辅助评测的方式，实现半自动乃至全自动的评测。

研究领域： 人工智能 项目简介： 目前行业应用仍主要依赖单模态的数据（如文本或图像）进行风险审核，这种方式无法充分结合不同数据类型信息进行综合决策，导致审核准确率较低，部分复杂审核规则无法实现。尽管已经有一些跨模态审核研究，但在复杂风险审核场景中的应用仍较为初步，研究和实践中存在较多未解决的问题，如跨模态特征融合的有效性、审核规则的动态调整方式等。