[发明专利]一种自下而上-自上而下的行为识别系统

权利要求书

1.一种自下而上-自上而下的行为识别系统，其特征在于，包括SBTA模块和STBTA模块；所述SBTA模块和STBTA模块通过自下而上自上而下机制和注意机制对局部特征和全局信息进行编码；

自下而上自上而下机制为对特征图进行逐层下采样后逐层上采样，通过残差联接保留多尺度学习，并具有科学系参数。

2.根据权利要求1所述的自下而上-自上而下的行为识别系统，其特征在于，所述系统最大池化层用于将特征处理到非常低的分辨率；任何相邻层之间均存在残差连接模块，在此模块中首先对输入功能进行三次下采样，在达到最低分辨率后，网络开始按比例进行双线性上采样并对相应特征进行组合；此外，增加了空间和时间注意力模块，以强调关键局部区域的功能，进一步提高网络性能；整个模块类似与一个沙漏的设计，并且两端是相互对称的；整个模块的输出对于不同通道、不同空间位置点都赋予了不同权重。

3.根据权利要求1所述的自下而上-自上而下的行为识别系统，其特征在于，所述系统首先通过1x1的卷积核进行通道压缩，而后使用3x3的卷积核来适用高级信息，最后通过1x1的卷积核使得通道还原至，在这里使用残差连接来保留原始信息，用来减轻过拟合和避免梯度弥散；使用1x1卷积有缩减开销的价值，以及使用连续较小的过滤器捕获较大空间上下文；能用两个独立的3x3滤波器替换一个5x5滤波器，根据这些见解在不同的层模块中进行交换；不使用大于3x3的过滤器，限制了每个层的参数总数。

4.根据权利要求1所述的自下而上-自上而下的行为识别系统，其特征在于，所述系统STBTA需要考虑空间和时间维度的关系； 经过两次下采样后，使用自注意力模块来捕获远程依赖； 然后对这些功能进行采样并进行聚合，将3D通道注意力放在模块的最后； 在此模块中，所有过滤器和池化方式都是3D；以与2D不同的方式设计3D自下而上-自上而下模块；该模块有两个分支，上部分分支使用2D最大池化和2D平均池化，将它们逐元素相加在一起之后，使用2层MLP和Sigmoid激活函数来获得0-1之间的权值分布；下部分分支使用3D最大池和3D平均池，在使用逐元素相加将它们加在一起之后，使用2层MLP和sigmoid激活函数来获得权重分布；然后将这些分支添加到一起进行耦合并得到输出特征，输入到神经网络的下一层；

模块结果输出直接作为下一层模块的输入，该模块生成另一组预测；在最终的网络设计中，使用了8个STBA模块。