[发明专利]一种基于人体姿态的异常行为识别方法及系统

说明书

发明公开一种基于人体姿态的异常行为识别方法及系统，通过建立异常行为视频数据集，对所述异常行为视频数据集进行预处理和基于像素点的行为不当数据标记，得到训练数据集；使用姿态识别算法对训练数据集中的每张图像进行骨架信息提取，得到骨架序列数据；将骨架序列数据输入联邦学习模型中进行预训练，基于半监督学习机制，得到训练后的分类识别模型；获取实时输入的待检测视频，经过数据处理后输入至训练后的所述分类识别模型，得到预测分类结果。利用公开的异常行为数据库或者观察室历史数据建立异常行为视频数据集，在训练后的分类识别模型中预测待检测视频，对多个观察室并行预测，实现有效及时预警。

技术领域

本发明涉及图像检测技术领域，尤其涉及一种基于人体姿态的异常行为识别方法及系统。

背景技术

在观察室中，常有被观察对象、目击者与观察人员共处一室的情况，部分被观察对象可能会在观察室作出不当行为，进而危害观察人员、目击者等人身安全，或者其破坏公物，造成财产损伤，甚至被观察对象或目击者会作出自残行为，影响观察过程。

由于观察室内的环境比较复杂，例如，有些被观察对象是性情比较乖张，屡教不改者较容易在观察室内作出不当行为；被观察对象在观察室内的时间较短，有时作出不当行为是在一瞬之间，留给观察人员反应和处理的时间太短，无法对其行为作出预测判断；在多个观察室的情况下，也无法联合学习和预测，无法实现并行预测，管控能力有限。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的目的在于提供一种基于人体姿态的异常行为识别方法及系统，以解决现有技术中对观察室内人体行为检测不够及时、无法实现并行预测等问题。

为达到上述目的，本发明采用如下技术方案：

第一方面，本申请实施例提供一种基于人体姿态的异常行为识别方法，用于观察室中人体行为检测，包括：

建立异常行为视频数据集，对所述异常行为视频数据集进行预处理和基于像素点的行为不当数据标记，得到训练数据集；

使用姿态识别算法对训练数据集中的每张图像进行骨架信息提取，得到骨架序列数据；

将骨架序列数据输入联邦学习模型中进行预训练，基于半监督学习机制，得到训练后的分类识别模型；

获取实时输入的待检测视频，经过数据处理后输入至训练后的所述分类识别模型，得到预测分类结果。

在一些实施例中，在将骨架序列数据输入联邦学习模型中进行预训练时，包括：

在所述联邦学习模型中包括两个及以上与观察室对应分布式布置的LSTM-GCN模型，利用每个所述LSTM-GCN模型对骨架序列数据进行特征值提取，利用目标函数将各特征值进行归一化处理，特征融合形成统一大小的矩阵，再线性处理成单一维度，训练得到分类识别模型。

在一些实施例中，所述分类识别模型为GCN-LSTM模型，包括两个以上的transfer层，利用每个所述transfer层对线性处理后的单一维度数据进行预测分类，分类结果包括威胁观察人员生命安全类别、破坏公物行为类别、自残危险行为类别和正常行为类别中的一种或一种以上。

在一些实施例中，在特征融合形成统一大小的矩阵并线性处理成单一维度后，将单一维度数据与被观察对象人口学结构化数据合并处理，得到预训练输入数据，再输入至各所述transfer层。

在一些实施例中，在建立异常行为视频数据集时：

将视频样本分割成正常行为数据样本和异常行为数据样本，将异常行为数据样本按3:2的比例分成异常行为视频数据集和测试数据集，所述视频样本包括但不限于公开的坐在被观察座椅上的异常行为数据、观察室历史异常行为数据；

利用异常行为视频数据集进行模型训练，利用测试数据集校验模型的预测分类结果。