[发明专利]基于Attention和SqueezeNet的多任务实时手势检测和识别方法

权利要求书

1.基于Attention和SqueezeNet的多任务实时手势检测和识别方法，所述方法采用的网络模型结构包括：

(1)保留BlitzNet网络中下采样和上采样层以及检测和分割部分，将ResNet-50结构删去；

(2)设计Attention，将Channel attention与Spatial attention并联起来，将两者生成的通道注意力特征图和空间注意力特征图做矩阵乘法，得到共同关注手势和位置信息的注意力特征图；

(3)将BlitzNet中所有ResSkip块内最后一层卷积替换为Attention，ResSkip中第二层卷积的输出作为Attention的输入，而Attention的输出与上采样输入的求和又作为下一个上采样的输入；

(4)在BlitzNet的分割分支后面添加Channel attention和Maxpool，将分割分支的卷积层输出作为Channel attention的输入，再经过Maxpool后的输出作为最终手势分割图；

(5)将SqueezeNet网络中的前15层包括1个Conv、7个Fire Module、2个Maxpool作为网络开始部分的手势特征提取器，把最后一个Fire Module的输出作为第一个下采样层的输入，将整个手势检测和识别网络连接起来；

(6)利用摄像头监控设备和训练好的手势检测和识别模型进行实时手势检测、手势识别和手势分割；

其中：Attention表示注意力机制；SqueezeNet表示卷积神经网络模型；BlitzNet表示目标检测模型；Channel attention表示通道注意力；Spatial attention表示空间注意力；ResSkip表示BlitzNet的模型构件；Conv表示卷积层；Maxpool表示最大池化；Fire Module表示SqueezeNet模型的核心构件，由一系列卷积层和激活函数组成。