[发明专利]一种利用树卷积操作的神经网络及其图像处理方法

说明书

本发明公开了一种利用树卷积操作的神经网络及其图像处理方法，所述神经网络包括根据树生成规则生成的各级选区树，利用选区树自上而下地解析输入特征图，并将各树节点调整为不同的比例，通过普通卷积对其进行卷积，最后自下而上融合卷积节点，以形成输出特征图，本发明通过内部视觉语法的指导来改进卷积神经网络，克服了卷积运算的局限性并隐式学习将输入图像/特征图分解为分层结构表示形式的视觉语法。

技术领域

本发明涉及深度学习、图像识别技术领域，特别是涉及一种利用树卷积操作的神经网络及其图像处理方法。

背景技术

与语言类似，理解图像可以看作是从场景到对象，零件，像素以及相应的空间/上下文关系的层次分解过程。现有的深层卷积神经网络集中于在层次结构中堆叠大量的冗余卷积层，隐式地近似分层分解，这可能会限制网络学习内部特征图中传达的语义信息，而这些语义信息可能会对视觉理解有着至关重要的作用。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种利用树卷积操作的神经网络及其图像处理方法，以通过内部视觉语法的指导来改进卷积神经网络，克服了卷积运算的局限性并隐式学习将输入图像/特征图分解为分层结构表示形式的视觉语法。

为达上述目的，本发明提出一种利用树卷积操作的神经网络，包括根据树生成规则生成的各级选区树，利用选区树自上而下地解析输入特征图，并将各树节点调整为不同的比例，通过普通卷积对其进行卷积，最后自下而上融合卷积节点，以形成输出特征图。

优选地，所述树生成规则为：以输入特征图为根节点逐层划分，每层划分为两个子节点，其中一个为叶子结点，另一个为可以继续划分的子节点，直至最后一层两个子节点均为叶子结点，根节点的信息被逐层划分，越靠后的子节点保留的全局信息越少，局部信息越多。

优选地，所述利用选区树自上而下地解析输入特征图的操作通过利用各子节点在父节点中的成分比自上而下地解析输入特征图。

优选地，所述将各树节点调整为不同的比例，通过普通卷积对其进行卷积的操作将有冗余信息的特征图下采样到更小尺寸，然后将下采样后的节点通过卷积操作处理，最后将卷积操作的输出进行上采样恢复到原来的输入尺寸。

优选地，所述自下而上融合卷积节点，以形成输出特征图的操作根据卷积操作的结果首先结合形成然后结合形成最后，合并以获得最终输出O。

为达到上述目的，本发明还提供一种利用树卷积操作的神经网络的图像处理方法，包括如下步骤：

步骤S1，利用各级选区树自上而下地解析输入特征图，将输入的特征图逐步分层地解析；

步骤S2，将各树节点调整为不同的比例，以减少冗余，并通过普通卷积对其进行卷积；

步骤S3，自下而上融合卷积节点，以形成输出特征图。

优选地，于步骤S1中，各级选区树根据树生成规则生成，所述树生成规则为：以输入特征图为根节点逐层划分，每层划分为两个子节点，其中一个为叶子结点，另一个为可以继续划分的子节点，直至最后一层两个子节点均为叶子结点，根节点的信息被逐层划分，越靠后的子节点保留的全局信息越少，局部信息越多。

优选地，于步骤S1中，通过利用各子节点在父节点中的成分比自上而下地解析输入特征图。

优选地，于步骤S2中，将有冗余信息的特征图下采样到更小尺寸，然后将下采样后的节点通过卷积操作处理，最后将卷积操作的输出进行上采样恢复到原来的输入尺寸。

优选地，于步骤S3中，根据卷积操作的结果首先结合形成然后结合形成最后，合并以获得最终输出特征图。