[发明专利]代表性图结构模型、视觉理解模型的建立方法及应用

说明书

本发明公开了一种代表性图结构模型、视觉理解模型的建立方法及应用，属于视觉理解领域，包括：建立代表性图结构模型；代表性图结构模型包括：特征映射模块，用于从输入特征图像中提取值分支、键值分支和序列分支，并生成偏移矩阵；采样模块，用于根据偏移矩阵对值分支和键值分支中的节点(像素或图像栅格)采样，得到代表性特征；长距离依赖信息捕获模块，用于对键值分支的代表性特征与序列分支进行矩阵乘法后进行Softmax操作，得到关系矩阵，并对值分支的代表性特征与关系矩阵进行矩阵乘法，得到长距离依赖矩阵；以及特征反映射模块，用于将长距离依赖信息编码到输入特征图像中。本发明能够学习到更精炼的长距离依赖信息，提高视觉理解任务的准确度。

技术领域

本发明属于视觉理解领域，更具体地，涉及一种代表性图结构模型、视觉理解模型的建立方法及应用。

背景技术

长距离依赖，是图像中位置相隔较远的区域或像素间具有的语义关系。对长距离依赖进行建模的工作，对于语义分割、目标检测、目标分割等视觉理解任务具有重要意义，例如判断图像中某区域/像素所属类别时可将其他距离较远的相似特征区域/像素纳入判断结果的影响因素。先前的主流方法依靠局部操作的深度堆叠，例如卷积操作。但这种方法计算低效、优化困难而且感受野较小。

为解决上述问题，non-local方法被提出以捕获长距离依赖。Non-local操作对每个位置，将其他所有位置的加权和作为计算得到的长距离依赖信息，其权重从一个密集关系矩阵中获得。该密集关系矩阵通过卷积层映射和一些列矩阵运算后产生，对于每个位置而言，该密集关系矩阵记录了其他所有位置对当前位置的重要程度。当然，在关系矩阵中会存在冗余，这也导致计算复杂度较高。对于每个位置，有些其他位置可能只产生很小的响应。经过统计研究，某些位置对响应产生主要贡献，而大多数位置只产生极少贡献。因此，关系矩阵中的冗余在non-local计算中必然导致计算冗余。

总体而言，上述用于捕获长距离依赖的方法具有高计算复杂度的特点，限制了实际应用中捕获长距离依赖的效率与效果，造成各种计算机视觉理解任务准确度较低。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种代表性图结构模型、视觉理解模型的建立方法及应用，其目的在于，解决现有的捕获长距离依赖的方法因计算复杂度高，限制了长距离依赖捕获的效率和效果，导致视觉理解任务准确度低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种代表性图结构模型建立方法，包括：

建立代表性图结构模型，用于捕获输入特征图像的长距离依赖信息；

代表性图结构模型包括：特征映射模块、采样模块、长距离依赖信息捕获模块以及特征反映模块；

特征映射模块，用于从输入特征图像中提取值分支、键值分支和序列分支，并生成用于指示采样点坐标的偏移矩阵；

采样模块，用于根据偏移矩阵分别对值分支和键值分支中各节点的邻居节点进行采样，得到值分支的代表性特征和键值分支的代表性特征；

长距离依赖信息捕获模块，用于对键值分支的代表性特征与序列分支进行矩阵乘法后进行Softmax操作，得到关系矩阵，关系矩阵中记录了各节点与其采样点间的关系向量；长距离信息捕获模块，还用于对值分支的代表性特征与关系矩阵进行矩阵乘法，得到长距离依赖矩阵，长距离依赖矩阵记录了各节点的长距离依赖信息；

特征反映模块，用于将节点间的长距离依赖信息编码到输入特征图像中，输出包含长距离依赖信息的特征图像；

其中，节点为像素或图像栅格。

进一步地，代表性图结构模型还包括通道划分模块和特征整合模块；