[发明专利]视频中的暴力内容检测方法、装置及设备

权利要求书

1.一种视频中的暴力内容检测方法，其特征在于，所述方法包括：

获取待检测视频；

对所述待检测视频进行人像检测，提取待检测视频的帧画面中的人像所在区域的图像；

根据所提取的人像所在区域的图像，确定待检测视频中的人像所对应的光流；

将所述人像所在区域的图像和所述光流输入到已训练的暴力检测模型中处理，输出暴力内容的检测结果。

2.根据权利要求1所述的方法，其特征在于，将所述人像所在区域的图像和所述光流输入到已训练的暴力检测模型中处理，输出暴力内容的检测结果，包括：

将所述人像所在区域的图像输入已训练的暴力检测模型中的第一时空卷积层进行时空卷积，获得第一特征信息；

将所述光流输入已训练的暴力检测模型中的第二时空卷积层进行时空卷积，获得第二特征信息；

激活所述第一特征信息和所述第二特征信息，然后依次经过池化层、融合层和全连接层处理，输出暴力内容的检测结果；

其中，第一时空卷积层和第二时空卷积层包括局部卷积层和非局部卷积层。

3.根据权利要求2所述的方法，其特征在于，所述非局部卷积层的卷积操作表示为：

其中，x_i表示第i个卷积块的输入，z_i表示第i个卷积块的输出，W_v1和W_v2表示线性变换矩阵，W_v2ReLU(LN(W_v1)表示残差卷积中的瓶颈设计，N_p＝H·W·T表示参数量，H表示图像长度，W表示图像宽度，T表示图像深度，表示全局注意力的权重，这其中W_k表示线性变换矩阵，x_j表示遍历全局时第j个卷积块的输入，x_m表示遍历全局时第m个卷积块的输入。

4.根据权利要求2所述的方法，其特征在于，所述局部卷积层的卷积操作表示为：

(I+T·S)·x_i：＝x_i+T(S(x_i))＝z_i

其中，其中x_i表示第i个卷积块的输入，z_i表示第i个卷积块的输入和输出，T代表n*1*1的时间卷积，S表示1*n*n的空间卷积，n为时间卷积核或空间卷积核的尺寸参数，I表示单位矩阵。

5.根据权利要求2所述的方法，其特征在于，激活所述第一特征信息和第二特征信息，包括：

通过Relu函数激活第一特征信息；

通过sigmoid函数激活第二特征信息。

6.根据权利要求1所述的方法，其特征在于，在确定待检测视频中的人像所对应的光流之前，所述方法包括：

将提取了人像所在区域的图像的待检测视频进行等时间间隔采样，得到预定帧数的待检测视频；

对所述视频样本中的人像所在区域的图像进行缩放处理，得到各帧中的人像所在区域具有相同像素大小的待检测视频，再执行确定待检测视频中的人像所对应的光流。

7.根据权利要求1所述的方法，其特征在于，在将所述人像所在区域的图像和所述光流输入到已训练的暴力检测模型中处理之前，所述方法包括：

通过交叉熵损失函数训练所述暴力检测模型，所述交叉熵损失函数Loss为：

其中，(x_i，y_i)为样本，N为样本数量，L为网络层数，f(x_i)为最终层的输出，为对模型参数规模的惩罚因子，λ为正则化系数，W_k为模型权值向量。