[发明专利]一种基于三维卷积网络的景区涂画行为识别方法

权利要求书

1.一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，包括：

S1、对实时视频进行预处理；

S2、通过三维卷积网络提取经步骤S1预处理后的视频中的特征图；

S3、将提取的特征图经过动作提议网络得到一系列粗略的涂画动作序列，包含提取到的涂画动作序列的中心点和长度；

S4、经过分类网络和精调得到涂画动作序列的具体开始和结束时间。

2.根据权利要求1所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，所述步骤S1包括以下子步骤：

S11、对于实时监控摄像头获取到的长时序视频流，采用多尺度生成视频段的方式进行视频分割，得到若干视频序列段，并最终对每个尺度的视频序列段随机采样16帧视频段作为最终视频文件的输入；

S12、采用ffmpeg对经步骤S11得到的视频文件进行每秒25帧的截取，得到一系列连续视频图像帧。

3.根据权利要求1所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，所述步骤S2包括以下子步骤：

S21、对输入的视频图像帧在空间上进行三维卷积和池化操作，捕捉视频图像上的时序信息；

S22、对输入的视频图像帧在时间上进行三维卷积和池化操作，捕捉视频图像上的时间信息。

4.根据权利要求1所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，步骤S3所述动作提议网络包括RPN网络与区域生成网络。

5.根据权利要求4所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，所述步骤S3包括以下子步骤：

S31、将经步骤S2处理后的特征图作为动作提议网络的输入，采用RPN网络生成具有不同尺度和宽高比的锚点框，将这些锚点框作为初略估计的涂画行为动作区间；

S32、区域生成网络将锚点框与标签框进行IoU对比，如果其IoU高于某个阈值，则该锚点框标定为前景框，否则属于背景框；

S33、对于前景框，还要计算其与真实标签框的4个位置偏移；将这个标定好的锚点框与上一步中卷积网络层的两个输出进行loss比较，从而学习到如何提取前景框。

6.根据权利要求1所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，所述步骤S4包括以下子步骤：

S41、从上一阶段选择出部分提议、对于选择的提议进行3D RoI池化挖掘固定尺寸特征并对于选中的提议基于特征整合进行动作分类以及边界回归；

S42、通过NMS消除高度重叠提议和低提议分数的情况；

S43、对分类和回归任务共同优化，得到精确的涂画行为动作区间。

7.根据权利要求6所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，步骤S43所述分类使用Softmax损失函数。

8.根据权利要求6所述的一种基于三维卷积网络的景区涂画行为识别方法，其特征在于，步骤S43所述回归使用平滑的L1损失函数。