[发明专利]一种基于专家语义支持的高空人员违章行为识别方法及系统

说明书

本发明涉及一种基于专家语义支持的高空人员违章行为识别方法及系统，方法包括：基于专家知识确定每类违规行为的行为特征；使用包含违章行为的视频数据训练特征识别模型；构建训练数据集；构建行为识别模型，使用训练数据集对行为识别模型进行训练；获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。与现有技术相比，本发明除直接使用神经网络挖掘视频数据的特征外，还基于专家知识进行了特征挖掘，丰富了机器学习时的特征维度，最终使用两种模态的特征进行违章行为识别，可以有效提高违章行为识别的准确性和鲁棒性。

技术领域

本发明涉及行为识别技术领域，尤其是涉及一种基于专家语义支持的高空人员违章行为识别方法及系统。

背景技术

电网施工环境相对复杂，存在众多不安全因素对作业人员的人身安全构成了潜在威胁。目前，作业现场普遍缺乏有效的反违章技术手段，难以做到及时提醒并制止违章，导致各类人身安全事故频发。因此，开发电网作业场景下的人员违章行为识别模型具有重要的理论意义和实用价值。

现有技术中，不少研究人员利用AI机器学习算法进行违章行为识别，采集包含各类违章行为的视频图像和不包含违章行为的视频图像并添加标签，构建训练集，训练神经网络模型，得到能够识别视频图像中的违章行为的识别模型。如中国专利CN113392770A公开的变电站作业人员典型违章行为检测方法及系统，利用空间卷积和时间卷积挖掘特征，实现违章行为的实时检测。但是，一方面，由于通过神经网络模型挖掘深度特征，为保证识别准确率，这种方式需要采集大量的违规案例素材，代价较大、周期长；另一方面，仅依靠图像特征这一单模态数据进行违章行为识别的精度不够高，鲁棒性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于专家语义支持的高空人员违章行为识别方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于专家语义支持的高空人员违章行为识别方法，包括以下步骤：

基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；

获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对所述特征识别模型进行训练，所述特征识别模型的输入为视频数据，输出为一类行为特征的取值；

获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；

构建行为识别模型，使用所述训练数据集对行为识别模型进行训练，所述行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；

获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。

进一步地，所述行为特征包括但不限于：人员身份特征、环境特征、辅助设备特征、辅助设备状态特征。

进一步地，视频数据以及视频数据中各类行为特征的取值输入的行为识别模型之前，还包括：将视频数据以及视频数据中各类行为特征的取值进行对齐。

进一步地，使用自编码器将视频数据以及视频数据中各类行为特征的取值进行对齐，具体为：

步骤1、构建自编码器，所述自编码器包括编码器模块和解码器模块，确定编码器模块和解码器模块初始的权重参数，基于所述视频数据得到原始视频特征，基于所述视频数据中各类行为特征的取值得到原始语义特征；

步骤2、将原始视频特征输入自编码器，所述自编码器基于权重参数和原始视频特征得到重构视频特征；