[发明专利]代表性图结构模型、视觉理解模型的建立方法及应用

权利要求书

1.一种代表性图结构模型建立方法，其特征在于，包括：

建立代表性图结构模型，用于捕获输入特征图像的长距离依赖信息；

所述代表性图结构模型包括：特征映射模块、采样模块、长距离依赖信息捕获模块以及特征反映射模块；

所述特征映射模块，用于从所述输入特征图像中提取值分支、键值分支和序列分支，并生成用于指示采样点坐标的偏移矩阵；

所述采样模块，用于根据所述偏移矩阵分别对所述值分支和所述键值分支中各节点的邻居节点进行采样，将采样结果分别作为所述值分支的代表性特征和所述键值分支的代表性特征；

所述长距离依赖信息捕获模块，用于对所述键值分支的代表性特征与所述序列分支进行矩阵乘法后进行Softmax操作，得到关系矩阵，所述关系矩阵中记录了各节点与其采样点间的关系向量；所述长距离信息捕获模块，还用于对所述值分支的代表性特征与所述关系矩阵进行矩阵乘法，得到长距离依赖矩阵，所述长距离依赖矩阵记录了各节点的长距离依赖信息；

所述特征反映射模块，用于将节点间的长距离依赖信息编码到所述输入特征图像中，输出包含长距离依赖信息的特征图像；

其中，所述节点为像素或图像栅格；所述值分支和所述键值分支分别由构成所述输入特征图像的一系列Key,Value数据对中的Key和Value组成，所述序列分支包含了所述输入特征图中各节点的注意力向量。

2.如权利要求1所述的代表性图结构模型建立方法，其特征在于，所述代表性图结构模型还包括通道划分模块和特征整合模块；

所述通道划分模块，用于按照通道分别对所述值分支的代表性特征、所述键值分支的代表性特征以及所述分支序列进行划分，得到多个通道组，并将各通道组分别输入至所述长距离依赖信息捕获模块，以捕获各通道组内节点间的长距离依赖信息；

所述特征整合模块，用于整合各通道组内节点间的长距离依赖信息，得到所述输入特征图像中各节点的长距离依赖信息，并输入至所述特征反映射模块，以由所述特征反映射模块将节点间的长距离依赖信息编码到所述输入特征图像中；

其中，按照通道划分后，对应通道的所述值分支的代表性特征、所述键值分支的代表性特征以及所述序列分支构成一个通道组。

3.如权利要求1或2所述的代表性图结构模型建立方法，其特征在于，所述特征映射模块包括：第一卷积层、第二卷积层、第三卷积层和第四卷积层，各卷积层的卷积核大小均为1×1；

所述第一卷积层、所述第二卷积层、所述第三卷积层和所述第四卷积层分别用于对所述输入特征图像进行卷积操作，得到值分支、偏移矩阵、键值分支和序列分支。

4.如权利要求3所述的代表性图结构模型建立方法，其特征在于，所述特征反映射模块包括：第五卷积层和第一aggregation层，所述第五卷积层的卷积核大小为1×1；

所述第五卷积层，用于对所述长距离依赖矩阵进行卷积操作，将所述长距离依赖矩阵的大小还原至与所述输入特征图像相同；

所述第一aggregation层，用于对输入所述特征映射模块的特征图像与还原后的长距离依赖矩阵进行aggregation操作，将节点间的长距离依赖信息编码到所述输入特征图像中。

5.如权利要求1或2所述的代表性图结构模型建立方法，其特征在于，所述特征映射模块包括：第六卷积层、第一批归一化层、第一激活层和第七卷积层，所述第六卷积层和所述第七卷积层的卷积核大小均为1×1；

所述第六卷积层、第一批归一化层和所述第一激活层，用于依次对所述输入特征图像进行卷积操作、批归一化操作和激活操作，得到值分支、键值分支和序列分支；

所述第七卷积层，用于对所述第一激活层的输出图像进行卷积操作，得到偏移矩阵。