[发明专利]一种基于门机制的图像特征提取方法、装置和系统

说明书

一种基于门机制的图像处理的方法、装置和系统，其中该方法至少包括以下步骤：S10，获得神经网络的每一层的特征X对应的门G；S20，对神经网络每一层的特征X，利用门G增强其有用的信息，同时计算该特征X具有无用信息的区域；S30，对每一层特征X中具有无用信息的区域，采用其它层特征的有用信息进行补充；S40，将神经网络所有层的特征进行全连接。通过门机制可以筛选有用的信息抑制无用的信息，全连接的方式可以使所有的特征进行两两之间的信息交流从而使所有的特征都具用不同层次的信息。因此在做最后的特征融合的时候可以从不同层次的特征获取足够多的有用信息而不必担心引入了无效甚至有害信息。

所属技术领域

本发明涉及机器视觉技术领域，特别是涉及一种基于门机制的图像特征提取的方法、装置和系统。

背景技术

在深度学习中，图像分割的目标是对于在图像中的每一个像素进行分类，这就需要具有高分辨率、高层次语义信息的特征。现有的卷积神经网络在做图像分割时为了获得高层次的语义特征需要有足够大的感受野，而获得大感受野的最简单的方法就是不断的进行下采样，这就造成了当特征具有较高层次的语义信息时它的分辨率会变的很低，与此同时在卷积神经网络的较浅层具有高分辨率的低层次特征，但是其语义信息比较弱。因此，通常为了获得高分辨率、高层次语义信息的特征，需要将不同层次的特征融合起来。

特征融合常用的方法是将特征从高层次到低层次逐层进行融合，然后直接做预测或者将所有不同层次的特征融合到一起之后再做预测，与此相对应的代表性的工作是U-Net和FPN(特征金字塔网络)。由于不同层次的特征的关注点不同，比较浅层次的特征关注细节信息而高层次的特征关注语义信息，不同信息之间有比较大的差别。U-Net和FPN这两种技术都是将特征不加选择的融合到一起，导致无用信息的引入从而损失原有的有用信息。因此，将所有的信息加以选择的引入到所有的特征中对于最后的预测会十分有利。

发明内容

本发明主要解决的就是深度学习中的特征选择以及特征融合问题。现有的技术都是将特征从高层次到低层次不加选择直接融合，而本发明的改进点在于先用门机制将特征中有用的信息提取出来，然后再以全连接的方式将有用的信息在不同的特征之间进行分发补充以达到特征融合的目的，最后再将所有的特征融合到一起做预测。门机制可以负责筛选有用的信息抑制无用的信息，全连接的方式可以使所有的特征进行两两之间的信息交流从而使所有的特征都具有不同层次的信息。因此在做最后的特征融合的时候可以从不同层次的特征获取足够多的有用信息而不必担心引入了无效甚至有害的信息。

本发明的目的在于提供一种基于门机制的图像特征提取方法、装置和系统，具体技术方案如下：

第一方面，本发明实施例提供了一种基于门机制的图像特征提取方法，包括：

S10，获得神经网络的每一层提取的图像的特征对应的门；

S20，对神经网络的每一层提取的图像的特征，利用门增强其有用的信息，同时计算该特征具有无用信息的区域；其中，利用门函数Sigmoid作为特征是否有用的判断函数；

S30，对每一层提取的图像的特征中具有无用信息的区域，采用其它层特征的有用信息进行补充；

S40，将神经网络所有层的特征进行全连接。

第二方面，本发明实施例提供了一种基于门机制的图像特征提取装置，包括：

门获得模块，用于获得神经网络的每一层提取的图像的特征对应的门；

增强模块，用于对神经网络的每一层提取的图像的特征，利用门增强其有用的信息，并用于计算该特征具有无用信息的区域；其中，利用门函数Sigmoid作为特征是否有用的判断函数；

补充模块，用于对每一层提取的图像特征中具有无用信息的区域，采用其它层特征的有用信息进行补充；

全连接模块，用于将神经网络所有层的特征进行全连接。