蚂蚁金服研究型实习生-搜广推领域CTR模型多模态联合建模

任职要求

研究领域：
-目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位
-具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go
-具有上述研究领域的…

工作职责

研究领域：
  人工智能
项目简介：
  大语言模型(LLM)和多模态大模型(MMLM)的发展为推荐系统带来了新的生机。相较于传统推荐模型依赖协同过滤信息进行建模，大语言模型因其强大的泛化和推理能力，可以更好地对物品、内容进行关联、分析用户行为和偏好，从而具备处理复杂场景中复杂用户行为的潜力。但同时，虽然大语言模型在理解和生成自然语言方面表现出色，但它们在处理推荐系统中数据稀疏、特征异构、训练和部署效率等方面仍存在众多挑战。本项目旨在对传统推荐模型、大语言模型甚至多模态大模型进行联合建模，以期取长补短，更有效地利用多模态异构信息，从而进一步提升推荐模型表现。
主要的挑战包括但不限于：
1. 大语言模型的编码效率问题：LLM的训练及推理成本随编码的信息量增加而快速膨胀，如何高效地对长用户行为序列进行多模态编码是联合建模相关探索的基础问题。
2. 多模态信息融合问题：物品、内容存在大量不同模态且异构的信息，如何有效地对多模态信息进行融合，是保障联合建模效果的重要问题。
3. 联合建模的模态差异化优化问题：不同模态在拟合速度、信息权重等方面存在天然差异，如何在联合建模过程中平衡和调节不同模块的优化是联合建模的难点。