蚂蚁金服研究型实习生-基于大模型VLA的控制技术研究
任职要求
研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作
工作职责
研究领域： 人工智能 项目简介： 随着人工智能技术的快速发展，机器人领域正从传统的工业自动化向智能化、消费级方向转变。桌面机器人作为面向用户的电子消费品，旨在通过视觉、语言和行动（VLA，Vision-Language-Action）的深度融合，实现与人类的自然交互，并完成复杂的任务。这类机器人不仅可以提高用户的生活质量，还能在教育、娱乐、办公等场景中提供智能化服务。
多模态大模型与推荐系统的结合应用是当前业界前沿的研究方向，旨在通过结合多模态大模型和用户行为数据来提升推荐系统的性能。阿里云人工智能平台（PAI）团队正致力于这一领域的探索与实践，以解决跨场景推荐、冷启动等问题，提高推荐模型在行为数据稀疏场景下的表现。我们的研究和开发方向包括但不限于： 1. 多模态大模型与行为数据的融合：研究多模态大模型（如图像、文本等）与用户行为数据结合的微调训练方法，探索最佳的数据融合策略。 2. 特征对齐：探索新的建模方式，实现多模态特征与用户行为特征之间的对齐，确保模型能够充分利用多种类型的数据提升推荐效果。 3. 推荐模型的优化：在现有推荐模型的基础上，引入多模态特征，优化推荐算法，特别是在冷启动和跨场景推荐等挑战性场景下，提升推荐效果。
自然文本生成是大语言模型在应用落地时最具前景的方向之一，文本摘要、文本扩写和文本润色等能力可以将用户从繁重枯燥的文宇工作中解放出来，显著提高用户的工作效率和行业的生产效率。本项目旨在探索自然文本生成还存在以下若干难题： 1）知识注入的问题：大语言模型需要高质量的数据进行训练，然而现有的通用和行业数据体系的构建相对落后，我们希望通过创新的算法从大量原始的、质量参差不齐的数据中自动挑选高质量数据进行训练，同时通过数据浓度和学习进度的调控平衡大语言模型在各个方向的文本生成能力； 2）知识应用的问题：部分行业如政务、医疗对生成文本的相关度和真实性有很高的要求，然而大语言模型在理解长文本和生成长文本时，存在抓不住重点和生成幻觉的问题； 3）知识评估的问题：文本生成的内容目前仅能依靠人工的方式进行评测，限制了评测的范围和算法迭代的速度。我们希望模型辅助评测的方式，实现半自动乃至全自动的评测。
研究领域： 人工智能 项目简介： 目前行业应用仍主要依赖单模态的数据（如文本或图像）进行风险审核，这种方式无法充分结合不同数据类型信息进行综合决策，导致审核准确率较低，部分复杂审核规则无法实现。尽管已经有一些跨模态审核研究，但在复杂风险审核场景中的应用仍较为初步，研究和实践中存在较多未解决的问题，如跨模态特征融合的有效性、审核规则的动态调整方式等。
研究领域： 人工智能 项目简介： API作为数据交互核心枢纽面临严峻安全挑战，接口越权、参数注入、逻辑漏洞等风险频发，传统检测方案依赖静态代码规则扫描与动态流量重放测试，难以深度解析业务语义、识别隐蔽攻击链。尤其在处理多语言开发框架、加密协议交互等复杂场景时，现有方法对代码逻辑关联性理解不足，动态测试覆盖路径有限，导致逻辑漏洞漏报率高、业务风险感知滞后。大语言模型虽具备代码结构解析与流量行为推理能力，但单一动/静态分析模式尚未形成互补优势。本项目创新提出动静双维度协同分析框架，通过大模型对API代码逻辑的静态语义解构与流量时序特征的动态意图推理，构建异构数据融合的风险评估范式，为突破API安全检测的精准性瓶颈提供新一代技术路径。