[发明专利]行为识别方法、装置及计算机可读存储介质

权利要求书

1.一种行为识别方法，应用于电子装置，其特征在于，包括以下步骤：

S1，获取视频流，将视频流分割为由多帧图像组成的图像帧序列；

S2，检测每一帧图像中的人体轮廓，并用第一矩形框将每个人体标记出来；

S3，计算每一帧图像中任意两个第一矩形框之间的距离；

S4，若某一帧图像中两个第一矩形框之间的距离小于设定的距离阈值，则采用二人组合框将所述两个第一矩形框包围，其中，二人组合框是包围所述两个第一矩形框的最小矩形框；

S5，查找所述某一帧图像的前后多帧图像，将与所述二人组合框中相同的两个人都形成二人组合框，并将所述某一帧图像以及前后多帧图像中的二人组合框组成二人组合框序列；

S6，将所述二人组合框序列输入到神经网络模型中，通过神经网络模型进行人体行为识别，得到识别结果，确认是否属于预设行为类别。

2.根据权利要求1所述的行为识别方法，其特征在于，检测每一帧图像中的人体轮廓，并用第一矩形框将每个人体标记出来的步骤包括：

通过滑动窗口在图像上按照预设轨迹滑动，并通过CNN模型对滑动窗口中的物体提取空间特征，利用SVM分类器对提取到的所述空间特征分类，从而确定滑动窗口中是否有人体，并且，还输出滑动窗口的四个角点的坐标，以四个角点的坐标形成第一矩形框标记人体轮廓。

3.根据权利要求2所述的行为识别方法，其特征在于，步骤S5还包括：

识别前后多帧图像中是否存在与所述二人组合框中相同的两个人；其中，提取所述前后多帧图像中的各第一矩形框的光流图特征，并结合第一矩形框的所述空间特征输入到RNN模型中提取时序特征，从而判断是否存在与所述二人组合框中相同的两个人。

4.根据权利要求1所述的行为识别方法，其特征在于，所述神经网络模型包括依次连接的多个并列的第一2D卷积子网络W_2D和并列的一个3D卷积子网络W_3D、一个第二2D卷积子网络V_2D，对于每帧图像，采用第一2D卷积子网络W_2D来得到多个特征图谱，将图像帧序列的所有帧图像得到的特征图谱组成特征集合，所述特征集合分别输入到一个3D卷积子网络W_3D和一个第二2D卷积子网络V_2D进行处理，将第二2D卷积子网络的输出与3D卷积子网络的输出结果融合，得到识别结果，确认是否属于预设行为类别。

5.根据权利要求1所述的行为识别方法，其特征在于，步骤S6中，神经网络模型对输入的图像进行行为识别的方法是：

通过结合面部表情识别、裸露部位皮肤颜色识别、语音识别、接触部位识别中的至少一种方式来判定人体行为，对应每种方式获取一个判定结果，并对各判定结果进行加权平均，作为最终的判定结果。

6.根据权利要求5所述的行为识别方法，其特征在于，所述通过结合面部表情识别、裸露部位皮肤颜色识别、语音识别、接触部位识别中的至少一种方式来判定人体行为的步骤包括：

将图像转换为HSV图像，并按从左至右、从上至下的顺序对图像进行扫描，通过每一个像素与邻近的像素值的比较进行连通区域标记，确定每个连通区域内色调值介于340-360之间的像素点的个数，至少一个连通域的像素点的数量大于阈值，则认定为存在打架行为。

7.根据权利要求5所述的行为识别方法，其特征在于，所述通过结合面部表情识别、裸露部位皮肤颜色识别、语音识别、接触部位识别中的至少一种方式来判定人体行为的步骤还包括：

提取视频流中的音频并生成语音频谱图，采用依次连接的DCNN、RNN提取语音频谱图的第一特征变量，再从音频数据中提取MFCC，所述MFCC通过非线性变换成为第二特征向量，将第一特征向量、第二特征向量投射到一个联合特征空间中，组成联合特征，将联合特征输入一个全连接层，全连接层的输出传递给softmax层判定是否属于预设行为类别。