[发明专利]视觉仿生深度神经网络构建方法及其应用

说明书

本发明公开了一种视觉仿生深度神经网络构建方法，具体包括：S1、构建卷积神经网络分支和转换器分支；S2、构建网络架构：由视觉仿生(VBN)模块堆叠构成网络架构，所述VBN模块(VBNBlock)由一个卷积神经网络分支和一个转换器分支构成并行结构；S3、构建架构变体；S4、通过特征转换器将上述两分支特征融合；本发明解决了神经网络同时进行与人眼视觉机制类似的局部特征捕获和全局感知的问题，且具有更高的分类及检测精度特点。

技术领域

本发明涉及视觉仿生深度神经网络模式识别技术领域，具体涉及视觉仿生深度神经网络构建方法及其应用。

背景技术

受猫的视觉神经元的启发，LeCun发明了最初的卷积神经网络(ConvolutionalNeural Networks，CNN)，从此之后的20余年来，由于其通过卷积对图像进行特征提取的特殊性质，在图像分类、目标检测、实例分割等任务上都具有较高性能，卷积神经网络几乎统治了整个深度学习的视觉领域。在LeCun之后，Larochelle和Hinton使用基于三阶连接玻尔兹曼机(Restricted Boltzmann Machine，RBM)的模型来模仿了人眼扫视的功能。Denil等人使用深度受限玻尔兹曼机(deep-Restricted Boltzmann Machines)将每一时间点上的观察结果组成中央凹，并且分辨率朝着凝视的边缘衰减的形式来对人类视觉进行仿真。此外，VGGNet、ResNet、GoogleNet和MobileNet等卷积神经网络都是利用卷积的视觉仿生特性作为特征提取器。SENet使用学习的方式来自动获取到每个特征通道的重要程度，以此来构建视觉注意力的机制。CBAM则是将注意力(Attention)同时运用在通道(channel)和空间(spatial)两个维度上用以提升网络模型的特征表达能力。eRPN受人类视觉系统同心圆拮抗式感受野(homocentric opponent phenomenon，HOP)的启发，缓解了预定义锚点和样本的低质量问题。

卷积操作通过分层的方式收集局部特征作为图像的高层语义表示，尽管其能很好的捕获到局部细节，但是缺乏对全局的信息感知，类似于视网膜的中央凹系统。然而这种丧失全局感知能力的机制，可能会导致CNN不能够有效的提取目标的关键特征信息。对于卷积神经网络而言，其最直接的解决方案就是通过堆叠多层卷积以扩大其感受野，但也会破坏神经网络对局部细节捕获的能力。

如图1所示为ResNet-34/50/101与本发明提出网络VBN的有效感受野图；图中，除0.0处的绿色外，其他色域分布越广说明有效感受野越大。此外，颜色越靠近1.0处代表此处网络的注意力越高。通过对影响感受野(Effective Receptive Fields，ERFs)的研究，发现其理论感受野与实际的感受野并不直接相关，通过简单的堆积深层的卷积并不能有效的提升有效感受野。

近年来，由Google研究团队引入自注意力(Self-attention)机制的变换器(Transformer)架构在自然语言处理及视觉领域大放异彩。其中视觉变换器(VisionTransformer，ViT)在图像分类任务中的成功，验证了其在视觉领域的可行性和巨大发展潜力。ViT通过将图像拆分为具有位置嵌入(Embedding)的部分图像块补丁(Patches)来构建一系列标记(Tokens)，并应用多层变换模块(Transformer Blocks)堆叠来提取各标记(Tokens)之间的长距离依赖关系作为视觉特征表示。由于其全局自注意力机制和多层感知器(Multilayer Perceptron，MLP)结构，使得ViT反映了复杂的空间变换和长距离特征的依赖性，以此来构成更好的全局表示和语义信息。因此变换器架构理论上具有全局的感受野。