[发明专利]一种基于二维空间编码的图像描述方法

权利要求书

1.一种基于二维空间编码的图像描述方法，其特征在于，包括以下步骤：

S1、将一幅图像送入编码器模型中进行图像特征提取，得到相应的二维特征图；

S2、通过顺序位置编码、坐标位置编码或目标级的位置编码为二维特征图编码绝对位置信息；

S3、根据二维特征图的绝对位置信息，将二维特征图转换为解码器能够识别的一维序列；

所述步骤S2中的顺序位置编码包括以下步骤：

S21、二维特征图转换为一维序列的过程中，解码器模型具有按行读取像素点信息的特征，输入的特征图大小为m*n，按行依次给二维特征图中的m*n个像素点进行编码，得到二维特征图每个像素点的行位置信息即视觉信息

S22、依据编码好行位置信息的二维特征图中的像素点，每行像素都有从0到i-1共n个像素点，i＝0、1、…、n-1，对第一行的n个像素点，当i＝0时，就是对第一行中行位置信息为0的像素开始进行列抽取，按照i+j*n进行m次抽取，j＝0、1、…、m-1，得到第1列的所有像素点；当i＝1时，对第一行中行位置信息为1的像素进行列抽取，然后按照i+j*n进行m次抽取，得到第2列的所有像素点，依次类推对第一行0～i-1各像素点都按照i+j*n进行m次抽取，最终得到大小为m*n特征图的列位置信息；

S23、根据二维特征图每个像素点的行位置信息和列位置信息，获得二维特征图的绝对位置信息。

2.如权利要求1所述的基于二维空间编码的图像描述方法，其特征在于，所述步骤S2中的顺序位置编码和坐标位置编码用于图像级图像描述和attention级图像描述，目标级的位置编码用于目标级图像描述。

3.如权利要求2所述的基于二维空间编码的图像描述方法，其特征在于，所述图像级图像描述和attention级图像描述采用EfficientNet编码器，目标级图像描述采用Faster R-CNN编码器。

4.如权利要求1所述的基于二维空间编码的图像描述方法，其特征在于，所述步骤S2中的坐标位置编码包括以下步骤：

S21、给编码器输出的(i+1)*(i+1)特征图进行0～i的行位置编码，给第一行的i+1个像素点进行从0～i的编码，第二行的i+1个像素点进行从0～i的编码，以此类推给每一行的i+1个像素点都编码0～i，获得二维特征图的行位置信息；

S22、对具有行位置编码的二维特征图进行转置操作，得到二维特征图中相应像素点的列位置信息；

S23、根据二维特征图每个像素点的行位置信息和列位置信息，获得二维特征图的绝对位置信息。

5.如权利要求2所述的基于二维空间编码的图像描述方法，其特征在于，所述步骤S2中的目标级的位置编码包括以下步骤：

S21、编码器模型Faster R-CNN通过锚框去框特征图中的目标，编码器模型Faster R-CNN计算锚框是否框到了目标，以及框到的目标的类别，置信度表示框到的目标有多大概率属于这个类别；

S22、通过编码器模型Faster R-CNN提取出每个目标按照置信度排列的特征序列；

S23、根据每个目标按照置信度排列的特征序列，借助编码器模型Faster R-CNN内部中心坐标的位置信息，为每个目标对象编码出相应的绝对位置信息，获得特征图的绝对位置信息。

6.如权利要求5所述的基于二维空间编码的图像描述方法，其特征在于，所述步骤S23中为每个目标对象编码出相应的绝对位置信息的具体过程包括以下步骤：

S231、首先根据目标特征图中每个目标矩形框的坐标信息计算出矩形框的面积，使用交并比函数IOU计算出多个目标矩形框面积两两之间的重合度；

S232、其次根据矩形框的位置坐标计算出多个目标相应的中心点位置，将此中心点位置进行反向映射到编码器输出的特征图即卷积特征图的相应像素点上；

S233、对相应像素点进行位置编码得到多个目标的空间位置信息，从而使得编码器输出的置信度排列的一维视觉序列添加了每个目标的空间位置信息。

7.如权利要求6所述的基于二维空间编码的图像描述方法，其特征在于，所述步骤S231中的交并比函数IOU是一种计算目标1的矩形框面积area1和目标2的矩形框面积area2之间重合度的方法，定义为：

IOU＝area/(area1+area2-area)

其中，交并比函数IOU值很大说明两个目标之间的重合度很高，如果交并比函数IOU值很小说明两个目标之间没有重合；area表示两个目标矩形框交集部分的面积，area1+area2-area是两个目标矩形框并集部分的面积。