[发明专利]一种基于非局部神经网络的非局部建模方法

说明书

本发明中提出的一种基于非局部神经网络的非局部建模方法，其主要内容包括：非局部神经网络，非局部块，其过程为，在非局部均值操作之后，在深度神经网络中定义一个通用的非局部操作，非局部操作基于不同位置之间的关系计算响应，它能支持可变大小的输入，并在输出中保持相应的大小，可以与卷积或递归层一起使用，也可以被添加到深层神经网络的早期部分，通过非局部操作能够结合非局部和局部信息，建立一个更加丰富的层次结构。本发明中非局部运算直接通过计算任意两个位置之间的交互来获取长时记忆，无需其间的距离，非局部运算效率很高，能够维持可变输入的大小，并且能很方便地与其他运算相组合。

技术领域

本发明涉及计算机视觉领域，尤其是涉及了一种基于非局部神经网络的非局部建模方法。

背景技术

随着计算机技术和多媒体技术的迅猛发展，视频与图像的数量急剧增长，面对海量的视频和图像数据，人们希望能够从中搜索出有用的信息，找出自己感兴趣的视频或图像。这就必须要对视频或图像进行分类整理，使人们在搜索时可以根据一定的分类进行查询，提高搜索效率。远距离依赖(LRD)是空间或时间序列数据分析中可能出现的一种现象，它与两点之间统计相关性的衰减率随着时间间隔的增加或点之间的空间距离的增加有关。捕获远距离依赖在深度神经网络中是至关重要的。卷积和循环网络操作都是常用的处理局部领域的基础模块，通常用它们来解决捕获远距离依赖问题。一般说来，重复局部操作会存在一些局限性：如计算效率低下、优化困难；且会产生多跳依赖建模，例如，当消息需要在远距离位置之间来回传送时，这将是一个具有一定挑战性的问题。

本发明提出了一种基于非局部神经网络的非局部建模方法，在非局部均值操作之后，在深度神经网络中定义一个通用的非局部操作，非局部操作基于不同位置之间的关系计算响应，它能支持可变大小的输入，并在输出中保持相应的大小，可以与卷积或递归层一起使用，也可以被添加到深层神经网络的早期部分，通过非局部操作能够结合非局部和局部信息，建立一个更加丰富的层次结构。本发明中非局部运算直接通过计算任意两个位置之间的交互来获取长时记忆，无需其间的距离，非局部运算效率很高，能够维持可变输入的大小，并且能很方便地与其他运算相组合。

发明内容

针对计算效率低下等问题，本发明的目的在于提供一种基于非局部神经网络的非局部建模方法，在非局部均值操作之后，在深度神经网络中定义一个通用的非局部操作，非局部操作基于不同位置之间的关系计算响应，它能支持可变大小的输入，并在输出中保持相应的大小，可以与卷积或递归层一起使用，也可以被添加到深层神经网络的早期部分，通过非局部操作能够结合非局部和局部信息，建立一个更加丰富的层次结构。

为解决上述问题，本发明提供一种基于非局部神经网络的非局部建模方法，其主要内容包括：

(一)非局部神经网络；

(二)非局部块。

其中，所述的非局部神经网络，在非局部均值操作之后，在深度神经网络中定义一个通用的非局部操作：

其中，i是输出位置(空间、时间或时空)的索引，其响应将被计算，j是列举的所有可能位置的索引；x是输入信号(通常是图像、序列或视频的特征)，y是与x大小相同的输出信号；配对函数f计算i和所有j之间的标量(用于表示关系，如亲和度)；一元函数g计算位置j处的输入信号表示；响应通过因子正则化；

公式(1)中的非局部行为是由于在操作中考虑了所有位置作为比较，卷积操作将局部邻域中的加权输入相加(例如，在一维的核大小为3的情况下，i-1≤j≤i+1)，并且时间i处的递归操作通常只基于当前和最新的时间步长(例如，j＝i或i-1)。