[发明专利]基于多模态图神经网络的语义分析方法、系统和存储介质

权利要求书

1.一种基于多模态图神经网络的语义分析方法，其特征在于，包括以下步骤：

采集社交数据，所述社交数据包括用户数据和资源数据；

根据所述社交数据构建多模态交互图；

构建语义分析模型，所述语义分析模型包括门控注意力机制；

采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态；

其中，所述用户数据包括用户ID数据，所述资源数据包括资源ID数据；所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态，包括嵌入步骤、信息传递步骤和预测步骤；

所述嵌入步骤包括：

将所述用户ID数据和所述资源ID数据嵌入所述语义分析模型；

所述信息传递步骤包括：

根据聚合的特征和单模态交互图更新多模态交互图节点；

根据语义分析模型中各层间的高阶连通性更新多模态交互图的节点表示；

在确定更新完每个模态的节点表示后，合并不同模态的表达式；

所述预测步骤包括：

根据合并后的表达式判断用户数据与资源数据的交互状态。

2.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述根据所述社交数据构建多模态交互图，包括：

根据模态类型对所述资源数据进行分类，所述模态类型包括文本模态、图像模态和视频模态；

根据用户数据和分类后的资源数据构建多模态交互图。

3.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述用户数据还包括用户偏好数据；所述资源数据还包括资源特征数据；将所述用户偏好数据和所述资源特征数据作为单模态交互图中的节点特征。

4.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，在所述信息传递步骤中通过门控注意力机制控制信息流，所述门控注意力机制包括传递门和注意力机制。

5.根据权利要求1所述的一种基于多模态图神经网络的语义分析方法，其特征在于，所述根据合并后的表达式判断用户数据与资源数据的交互状态，其具体为：

将用户数据和资源数据的表达式进行内积，得到用户数据与资源数据的交互状态。

6.一种基于多模态图神经网络的语义分析系统，其特征在于，包括：

采集模块，用于采集社交数据，所述社交数据包括用户数据和资源数据；

图构建模块，用于根据所述社交数据构建多模态交互图；

模型构建模块，用于构建语义分析模型，所述语义分析模型包括门控注意力机制；

分析模块，用于采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态；

其中，所述用户数据包括用户ID数据，所述资源数据包括资源ID数据；所述采用所述语义分析模型分析所述多模态交互图的语义信息，并根据所述语义信息判断用户数据与资源数据的交互状态，包括嵌入步骤、信息传递步骤和预测步骤；

所述嵌入步骤包括：

将所述用户ID数据和所述资源ID数据嵌入所述语义分析模型；

所述信息传递步骤包括：

根据聚合的特征和单模态交互图更新多模态交互图节点；

根据语义分析模型中各层间的高阶连通性更新多模态交互图的节点表示；

在确定更新完每个模态的节点表示后，合并不同模态的表达式；

所述预测步骤包括：

根据合并后的表达式判断用户数据与资源数据的交互状态。

7.一种基于多模态图神经网络的语义分析系统，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以执行如权利要求1-5任一项所述的基于多模态图神经网络的语义分析方法。

8.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-5任一项所述的基于多模态图神经网络的语义分析方法。