[发明专利]一种基于注意力机制的图像-文本数据融合方法和系统

权利要求书

1.一种基于注意力机制的图像-文本数据融合方法，其特征在于，包括如下步骤：

步骤S1，收集特定任务下的图像和文本数据集；

步骤S2，对收集到的图像和文本数据集进行预处理，作为训练集；

步骤S3，构建基于注意力机制的图像-文本数据融合网络；

步骤S3中构建基于注意力机制的图像-文本数据融合网络，其输入包括预处理后的图像数据和文本数据，该融合网络的具体实现方式如下，

(3a)对输入的文本数据，结合词向量和位置编码生成文本中的每个词项的编码向量；具体地，对于文本中位置i的词项w_i，通过词向量层生成对于应的D维词向量v_i，而该词项对应的D维位置编码如下：

其中，p_i,2d和p_i,2d+1分别表示位置编码p_i中第2d和2d+1维的数值；

根据该词项的词向量v_i和位置编码p_i，其编码向量h_i计算如下：

h_i＝v_i+p_i；

(3b)对输入的图像数据，使用二维滑动窗口以一定的步长对每个通道的图层进行遍历，提取每个窗口的图层数据块并进行扁平化操作，生成窗口向量；

(3c)对每个窗口向量，利用注意力机制将文本中所有词项的编码向量与其进行融合，得到融合后的窗口向量；具体地，对于窗口向量s_t和文本中N个词项的编码向量序列[h₁,h₂,...,h_N]，基于注意力机制，融合后的窗口向量计算如下：

其中，W₁是需要训练的参数矩阵，权重α_t,i计算如下：

其中，关联度u_t,i计算如下：

u_t,i＝y^T·tanh(W₂·h_i+W₃·s_t)，

其中，W₂和W₃是需要训练的参数矩阵，y是需要训练的参数向量；

(3d)重构融合后的窗口向量的形状，得到与滑动窗口尺寸相同的图层数据块，然后合并所有通道下的图层数据块，得到融合后的图像数据块；

(3e)使用多个与滑动窗口长宽同等的卷积核对所有融合后的图像数据块进行特征映射，得到的特征图即为图像和文本最终融合了的数据；具体地，对于一个图像数据块u'_t和一个卷积核k_j，对应特征值F_t,j的特征映射计算式如下：

F_t,j＝∑(u'_t⊙k_j)，

其中，⊙表示逐点乘积；

步骤S4，根据任务构建输出网络，连接于数据融合网络之后，形成训练网络；

步骤S5，利用训练集对训练网络进行训练；

步骤S6，对待融合的图像和文本数据集进行预处理；

步骤S7，将预处理后的图像和文本数据输入训练好的数据融合网络，输出即为图像和文本的融合数据。

2.如权利要求1所述的一种基于注意力机制的图像-文本数据融合方法，其特征在于：所述步骤S2和S6中，对图像的预处理是指对图像数据进行去均值化操作，对文本的预处理是指对文本的分词操作。