通义研究型实习生-基于大模型的多智能体反馈系统研究

基于大模型的智能体最近得到了快速发展，使得基于多智能体的模拟成为可能，可以解决包括社会学、经济学、人文方面的研究。基于多智能体模拟的优势包括可以用较少的成本扩大模拟规模，以及带来的高效率。 然而，基于多智能体的模拟仍然具有不少挑战。本研究项目旨在探索 1）如何扩大模拟的规模； 2）如何高效并行：在模拟中，为了提高效率，需要进行并行优化； 3）灵活的模拟设置和系统性的管理：对于大规模模拟，方便的管理、监控模拟过程也非常重要。

研究领域： 人工智能 项目简介： 一句话描述：研究大模型训练中不同样本对模型训练质量的影响，利用大模型智能标注能力结合并将动态权重反馈信息提升样本质量及训练效果 随着大语言模型的发展，其多种能力不断涌现。而在大模型的实际研发中，越来越多研究人员发现训练数据的质量至关重要，进而开始转向研究以数据为中心的AI研究，其主要目的就是想办法加强数据的质量和数量，而不过多的考虑模型或者说固定模型结构。由此催生出了一系列的数据标注公司，而蚂蚁内部也有专门的标注团队给大模型训练提供标注数据，尤其是领域数据以及人类对齐数据。那么什么样的标注数据对大模型能力有帮助，能提升大模型在各个任务上的效果？目前在学术界和产业界在以数据为中心的模型研究仍处于初期阶段，各种方法都在探索中。 在当前数据标注场景下，目前我们需要攻坚的技术有：1. 训练样本质量评价问题。即如何提升具体模型对于数据自身的感知，快速识别低质样本或增强高质量样本，从而加强模型迭代的性能。目前我们的方案是将生成模型生成概率分布中的“犹豫”特征映射为模型对样本高价值的体现，同时结合评估损失来拟合前序的样本训练过程，最后引入BERTSCORE去对抗可能的模型幻觉；2.训练样本质量增强问题。如何将样本价值注入专家标注流程，从主动学习角度增强样本质量。目前我们的方案是在少量融合专家经验的标注样本上，基于大模型完成快速增量训练，进而将这种标注能力泛化到更多数据场景上；3. 样本价值训练中消费问题。如何在训练过程中，设计合适的训练框架使得模型感知样本价值的变化，使得样本质量指标增益模型训练的效果。目前我们的方案是在训练过程中引入无监督的样本权重传播机制，通过捕捉训练过程中样本的语义表征变化来检验模型的学习过程，同时通过引入样本平滑策略，使得训练过程中模型可以不断感知后续样本的重要性并对其做出反馈； 基于以上的技术攻坚，我们可以获得：1.建立带感知的标注数据质量评估的体系；2. 智能标注的能力；3.大模型训练框架对标注样本的动态反馈体系; 4. 标注数据质量评估的体系；5.大模型训练框架对标注样本的动态评估

多模态大模型与推荐系统的结合应用是当前业界前沿的研究方向，旨在通过结合多模态大模型和用户行为数据来提升推荐系统的性能。阿里云人工智能平台（PAI）团队正致力于这一领域的探索与实践，以解决跨场景推荐、冷启动等问题，提高推荐模型在行为数据稀疏场景下的表现。我们的研究和开发方向包括但不限于： 1. 多模态大模型与行为数据的融合：研究多模态大模型（如图像、文本等）与用户行为数据结合的微调训练方法，探索最佳的数据融合策略。 2. 特征对齐：探索新的建模方式，实现多模态特征与用户行为特征之间的对齐，确保模型能够充分利用多种类型的数据提升推荐效果。 3. 推荐模型的优化：在现有推荐模型的基础上，引入多模态特征，优化推荐算法，特别是在冷启动和跨场景推荐等挑战性场景下，提升推荐效果。

专注于多模态大模型与人机交互技术的创新研究及实践，具体职责包括： 1、探索多模态大模型（文本/图像/语音/视频等）的交互式应用场景，研发新型人机交互范式； 2、针对多模态交互复杂任务推理进行探索及研究，提升多模态、多跳推理场景下的复杂任务完成率； 3、优化多模态数据的融合算法，提升模型对复杂交互场景的理解与响应能力； 4、构建高效的多模态交互系统模型架构，研究低延迟、高并发的实时交互技术方案。