[发明专利]一种基于多模态数据的电影评分预测方法及装置

权利要求书

1.一种基于多模态数据的电影评分预测方法，其特征在于，包括：

获取待预测电影相关的文本、图像与视频，加入多模态数据集；

基于预设的节点属性，以导演为根节点，待预测电影为根节点的子节点，相关文本、图像与视频作为待预测电影节点的子节点，构造关于待预测电影的三层多模态树；

提取待预测电影多模态数据中文本、图像与视频的特征向量，将所述多模态树的相对应节点用特征向量来表示，获取嵌入多模态树；

利用预设聚合函数沿着所述嵌入多模态树的边进行信息聚合，提取信息聚合后第二层节点的节点聚合向量，作为电影嵌入表示；

将所述电影嵌入表示输入至评分预测模块，获取待预测电影的评分预测数值。

2.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，所述多模态数据集是利用爬虫技术从电影数据库平台爬取的电影相关文本、图像与视频数据构建的。

3.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，提取待预测电影多模态数据中文本的特征向量包括：利用文本提取器BERT来获取电影文本节点的特征向量；所述文本节点视为一个单词序列，将单词序列送入BERT中获取每个单词的嵌入表示，并进行平均，获取文本特征向量。

4.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，提取待预测电影多模态数据中图像的特征向量包括：利用图像提取器ViT来获取电影图像节点的特征向量；利用ViT将图像节点分割为一系列固定大小的非重叠面片，馈送至ViT的线性层与变换层，变换后的输出馈送至平均池化层，获取图像特征向量。

5.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，提取待预测电影多模态数据中视频的特征向量包括：利用视频提取器来获取电影视频节点的特征向量；所述视频提取器为基于Transformer的预训练模型，基于视频节点的帧级面片序列进行时空特征的学习，获取每个帧级面片的嵌入表示，并进行平均，获取视频特征向量。

6.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，所述利用预设聚合函数沿着所述嵌入多模态树的边进行信息聚合，包括：

以基于三层预设权重的GCN网络作为预设聚合函数，基于节点自身与其所有邻接节点的节点属性，按照所述GCN网络的方法进行聚合，经过三次聚合，丰富所述嵌入多模态树中各个节点的语义信息，获取每个节点的节点聚合向量；

所述预设聚合函数表示为：

；

其中，表示聚合后节点的节点聚合向量组成的矩阵；表示由每个多模态树的节点嵌入向量组成的矩阵；、与分别表示多模态树的第一层、第二层与第三层的权重参数；表示的二值邻接矩阵，是的度矩阵；，，其中是单位矩阵；是激活函数。

7.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，所述评分预测模块表示为：

，

其中，表示评分预测模块的第层；表示第层的输出，作为第层的输入，由电影嵌入表示初始化；表示第层中的权重，表示第层的偏置，表示第层的激活函数。

8.根据权利要求1所述的基于多模态数据的电影评分预测方法，其特征在于，所述评分预测模块的训练过程包括：

将训练集中电影数据的节点聚合向量输入所述评分预测模块中，输出馈送至softmax分类器，获取电影数据的类别概率；与电影真实类别对比，最小化交叉熵误差，优化评分预测模块；

所述交叉熵误差表示为：

，

其中，是训练集中的电影数量，是类别数量；表示第部电影属于第个类别的概率；若属于第类，则，否则。