[发明专利]一种跨模态的图像语义提取方法、系统、设备及介质

权利要求书

1.一种跨模态的图像语义提取方法，其特征是，包括：

获取待提取语义的图像，将待提取语义的图像输入到训练好的语义提取模型中，训练好的语义提取模型包括彼此连接的编码器和解码器；

所述编码器对待提取语义的图像提取语义注意力向量和视觉注意力向量；

所述解码器对语义注意力向量和视觉注意力向量进行加权求和，得到最终的注意力向量；

所述解码器对最终的注意力向量进行处理，得到最终的字幕；

所述编码器，包括：用于图像目标提取的卷积神经网络模型、预训练的VGGNet19、预训练的ResNet101网络结构、语义注意力机制模型、视觉注意力机制模型；

所述解码器，包括：平衡单元、第一层LSTM模型和第二层LSTM模型；

其中，语义注意力机制模型的输入端分别与用于图像目标提取的卷积神经网络模型的输出端、预训练的VGGNet19的输出端和第一层LSTM模型的输出端连接；语义注意力机制模型的输出端与平衡单元的输入端连接；

视觉注意力机制模型的输入端分别与预训练的ResNet101网络结构和第一层LSTM模型的输出端连接；视觉注意力机制模型的输出端与平衡单元的输入端连接；

平衡单元的输出端与第一LSTM模型的输入端连接；第一LSTM模型的输出端与第二LSTM模型的输入端连接；第一LSTM模型的输入端与第二LSTM模型的输出端连接；第二LSTM模型的输出端用于输出最终的字幕。

2.如权利要求1所述的方法，其特征是，在将待提取语义的图像输入到训练好的语义提取模型中步骤之后，在所述编码器对待提取语义的图像提取语义注意力向量和视觉注意力向量步骤之前还包括：

通过编码器对待提取语义的图像进行图像目标提取，获取图像目标；对待提取语义的图像进行图像主题提取，获取图像主题；对待提取语义的图像进行图像视觉特征提取，获取图像视觉特征。

3.如权利要求1所述的方法，其特征是，编码器对待提取语义的图像提取语义注意力向量，包括：

将图像目标、图像主题和第一层LSTM模型前一时刻的隐状态，输入到语义注意力机制模型中，输出语义注意力向量。

4.如权利要求1所述的方法，其特征是，编码器对待提取语义的图像提取视觉注意力向量，包括：

将图像视觉特征和第一层LSTM模型前一时刻的隐状态，输入到视觉注意力机制模型中，输出视觉注意力向量。

5.如权利要求1所述的方法，其特征是，所述解码器对最终的注意力向量进行处理，得到最终的字幕；包括：

将最终的注意力向量、第一层LSTM模型前一时刻隐状态和第二层LSTM模型前一时刻生成的单词输入到第一层LSTM模型中；

将第一层LSTM模型当前时刻的隐状态和第二层LSTM模型前一时刻的隐状态输入到第二层LSTM模型中，输出最终的字幕。

6.如权利要求2所述的方法，其特征是，通过编码器对待提取语义的图像进行图像目标提取，获取图像目标；具体步骤包括：

采用多示例学习的弱监督方式构建用于图像目标提取的卷积神经网络模型，基于用于图像目标提取的卷积神经网络模型对待提取语义的图像进行图像目标提取，获取图像目标。

7.如权利要求2所述的方法，其特征是，对待提取语义的图像进行图像主题提取，获取图像主题；具体步骤包括：

采用预训练的VGGNet19对待提取语义的图像进行图像主题提取，获取图像主题。

8.如权利要求2所述的方法，其特征是，对待提取语义的图像进行图像视觉特征提取，获取图像视觉特征具体步骤包括：

采用通过ImageNet数据集预训练的ResNet101网络结构，对待提取语义的图像进行图像视觉特征提取，获取图像视觉特征。