[发明专利]一种基于专家语义支持的高空人员违章行为识别方法及系统

权利要求书

1.一种基于专家语义支持的高空人员违章行为识别方法，其特征在于，包括以下步骤：

基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；

获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对所述特征识别模型进行训练，所述特征识别模型的输入为视频数据，输出为一类行为特征的取值；

获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；

构建行为识别模型，使用所述训练数据集对行为识别模型进行训练，所述行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；

获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。

2.根据权利要求1所述的一种基于专家语义支持的高空人员违章行为识别方法，其特征在于，所述行为特征包括但不限于：人员身份特征、环境特征、辅助设备特征、辅助设备状态特征。

3.根据权利要求1所述的一种基于专家语义支持的高空人员违章行为识别方法，其特征在于，视频数据以及视频数据中各类行为特征的取值输入的行为识别模型之前，还包括：将视频数据以及视频数据中各类行为特征的取值进行对齐。

4.根据权利要求3所述的一种基于专家语义支持的高空人员违章行为识别方法，其特征在于，使用自编码器将视频数据以及视频数据中各类行为特征的取值进行对齐，具体为：

步骤1、构建自编码器，所述自编码器包括编码器模块和解码器模块，确定编码器模块和解码器模块初始的权重参数，基于所述视频数据得到原始视频特征，基于所述视频数据中各类行为特征的取值得到原始语义特征；

步骤2、将原始视频特征输入自编码器，所述自编码器基于权重参数和原始视频特征得到重构视频特征；

步骤3、计算目标函数，求得使所述目标函数最小的权重参数，所述目标函数如下：

其中，V表示原始视频特征，W^*WV表示重构视频特征，W表示编码器模块的权重参数，W^*表示解码器模块的权重参数，F表示Frobenius范数，约束条件为WV＝S，S表示原始语义特征；

步骤4、利用求解得到的权重参数以及原始视频特征得到与原始语义特征对齐的重构视频特征。

5.根据权利要求4所述的一种基于专家语义支持的高空人员违章行为识别方法，其特征在于，步骤3中，设置W^*＝W^T，W^T为W的转置，将约束条件WV＝S转化为软约束，得到新的目标函数如下：

求解上述新的目标函数中的权重参数W，得到使所述新的目标函数最小的权重参数W，其中，λ为超参数。

6.一种基于专家语义支持的高空人员违章行为识别系统，其特征在于，包括：

专家设定模块，用于基于专家知识对每类违规行为进行描述，确定每类违规行为的行为特征，得到多个行为特征；

特征识别模型构建模块，用于获取包含违章行为的视频数据，构建多个特征识别模型，使用包含违章行为的视频数据对所述特征识别模型进行训练，所述特征识别模型的输入为视频数据，输出为一类行为特征的取值；

训练集构建模块，用于获取包含违章行为和不包含违章行为的视频数据，并使用训练好的特征识别模型得到各个视频数据中各类行为特征的取值，为每个视频数据添加标签，得到训练数据集；

行为识别模型训练模块，用于使用所述训练数据集对行为识别模型进行训练，所述行为识别模型的输入为视频数据以及视频数据中各类行为特征的取值，输出为视频数据是否包含违章行为以及违章行为的类别；

识别模块，用于获取视频数据，使用训练好的特征识别模型得到视频数据中各类行为特征的取值，将视频数据以及视频数据中各类行为特征的取值输入训练好的行为识别模型，得到违章行为识别结果。