LLM在多模态基于内容的推荐系统中的应用
需积分: 0 115 浏览量
2023-11-21
16:53:06
上传
评论
收藏 2.15MB DOCX 举报
WSDM2024: LLM 在多模态基于内容的推荐系统中的应用
多模态推荐系统与基于大语言模型(LLMs)的数据增强
Large Language Models with Graph Augmentation for Recommendation
文章: Large Language Models with Graph Augmentation for Recommendation
代码: https://github.com/HKUDS/LLMRec
一.问题与解决方案
引入 side information 能够帮助缓解推荐系统的数据稀疏性问题，目前主流的推荐系统(比如：
亚马逊，网飞)都引入模态 side information 来提升推荐的结果。但是，side information 的使
用不可避免地会引入一些问题，比如：噪声，低质量。受启发于 LLM 的知识储备和自然语
言理解能力，用 LLM 增强 side information 为上述问题提供了解决方案。具体地，我们使用 LLM
增强：i) u-i 交互和 ii)文本模态的信息（包括 user 画像和 item 属性）。此外，为了保证增强
的数据的可靠性，我们分别针对上述 i)和 ii)设计了 u-i 交互剪枝和 item feature 的 MAE。
二.多模态推荐数据集(适用模型代码框架 LLMRec, LATTICE, MMSSL, MICRO)
该工作制作并公开了 Netflix 和 MovieLens 两个多模态数据集。
1. Netflix 数据集
Netflix 是使用 Kaggle 网站上发布的原始 Netflix Prize 数据集制作的多模态数据集。数据格式
与多模态推荐的最新方法（如 MMSSL、LATTICE、MICRO 等）完全兼容。对于文本模态，基
础的信息包括‘title’，‘year’；视觉模态的图片则是根据电影的信息从网络爬取的海报。
(1) 文本模态
以下三幅图片代表了（1）Kaggle 网站上描述的有关 Netflix 的信息，（2）来自原始 Netflix Prize
数据的文本信息，以及（3）由 LLM 增强的文本信息。
(2) 视觉模态
资源评论
