[发明专利]一种基于目标检测的图像摘要生成方法

权利要求书

1.一种基于目标检测的图像摘要生成方法，包括图像局部区域特征提取、注意力机制系统和图像描述生成，其特征在于，所述图像局部区域特征提取与注意力机制系统相连，注意力机制系统与图像描述生成相连；所述图像局部区域特征提取采用Faster RCNN检测方法提取图像区域特征，Faster RCNN由原始图像特征提取、RPN网络和ROI池化三个部分组成。

2.根据权利要求1所述的一种基于目标检测的图像摘要生成方法，其特征在于，所述原始图像特征提取采用结构比较简单且准确性较高的VGG19网络提取图像特征，模型的输入是224*224的彩色图像，利用卷积神经网络，能够生成多个特征图表示图像信息。

3.根据权利要求1所述的一种基于目标检测的图像摘要生成方法，其特征在于，所述RPN网络能够定位目标区域，RPN网络首先生成多个边框，然后利用非极大抑制方法与Intersection-over-Union方法选择合适边框，并对边框不断进行回归与位置精修。

4.根据权利要求1所述的一种基于目标检测的图像摘要生成方法，其特征在于，所述RPN包括两条工作线路，第一条线路通过softmax分类anchors获得前景和背景，第二条线路用于计算对于anchors的bounding box regression偏移量，以获取精确地proposal，最后的proposal层综合foreground anchors和bounding box regression偏移量获取proposals，同时剔除太小和超出边界的proposals。

5.根据权利要求1所述的一种基于目标检测的图像摘要生成方法，其特征在于，所述ROI池化就是将不同大小的输入，水平和竖直都分成n等份，并对每一份都进行max pooling处理，这里特征图大小固定为7*7。

6.根据权利要求1所述的一种基于目标检测的图像摘要生成方法，其特征在于，所述注意力机制系统使用的空间注意力机制对视觉区域进行操作；所述空间注意力机制结合解码器LSTM网络的隐层状态生成视觉上下文表示。