[发明专利]一种行为动作检测方法、系统、设备及介质

权利要求书

1.一种行为动作检测方法，其特征在于，包括以下步骤：

从视频流中截取一帧或多帧图像；

对所述一帧或多帧图像进行人体框标注和行为类别标注，并按照标注的人体框坐标从所述一帧或多帧图像中裁剪出对应的图像区域；

将裁剪出的带人体框标注和行为类别标注的图像区域作为训练数据，并基于所述训练数据训练分类神经网络，生成行为分类模型；

利用所述行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在目标行为动作。

2.根据权利要求1所述的行为动作检测方法，其特征在于，所述目标行为动作包括以下至少之一：翻越行为动作、爬行行为动作。

3.根据权利要求2所述的行为动作检测方法，其特征在于，还包括将存在翻越行为动作的图像记为正例、不存在翻越行为动作的图像记为反例；

利用所述行为分类模型对待检测的图像进行检测时，若所述行为分类模型将存在翻越行为动作的图像检测为反例，则将所述行为分类模型的当次检测结果记为漏检；若所述行为分类模型将不存在翻越行为动作的图像检测为正例，则将所述行为分类模型的当次检测结果记为误检；

根据所述漏检和/或误检迭代优化所述行为分类模型，降低所述行为分类模型的漏检和/或误检。

4.根据权利要求3所述的行为动作检测方法，其特征在于，根据所述漏检和/或误检迭代优化所述行为分类模型，若所述正例的召回率大于第一阈值，以及所述负例的召回率大于第二阈值时，停止对所述行为分类模型的优化，并将此时的行为分类模型作为最终的行为分类模型；

利用最终的行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在翻越行为动作。

5.根据权利要求2所述的行为动作检测方法，其特征在于，利用所述行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在翻越行为动作，包括：

将待检测的图像输入至人体检测工具包中，通过所述人体检测工具包将待检测图像的尺寸调整至目标尺寸后进行推理，返回所有人体在待检测的图像上的人体框坐标和对应的置信度；其中，所述人体检测工具包括有用于获取人体框坐标和对应置信度的人体检测模型和/或人体关键点模型；

按照人体框坐标从待检测的图像中裁剪出置信度大于预设阈值的人体框图像区域；

利用所述行为分类模型对裁剪出的人体框图像区域进行翻越行为动作检测，并将检测结果与人体框坐标进行结合后在所述待检测的图像上进行标注，确定所述待检测的图像中是否存在翻越行为动作。

6.根据权利要求1所述的行为动作检测方法，其特征在于，还包括对所述训练数据进行离线增强，所述增强方式包括以下至少之一：

对带人体框标注和行为类别标注的图像区域进行旋转、对带人体框标注和行为类别标注的图像区域进行错切、对带人体框标注和行为类别标注的图像区域进行翻转、对带人体框标注和行为类别标注的图像区域进行色彩调整、对带人体框标注和行为类别标注的图像区域进行色调分离、对带人体框标注和行为类别标注的图像区域进行曝光度调整、对带人体框标注和行为类别标注的图像区域进行对比度调整、对带人体框标注和行为类别标注的图像区域进行亮度调整、对带人体框标注和行为类别标注的图像区域进行锐化。

7.一种行为动作检测系统，其特征在于，包括有：

采集模块，用于从视频流中截取一帧或多帧图像；

标注模块，用于对所述一帧或多帧图像进行人体框标注和行为类别标注；

裁剪模块，用于按照标注的人体框坐标从所述一帧或多帧图像中裁剪出对应的图像区域；

训练模块，用于将裁剪出的带人体框标注和行为类别标注的图像区域作为训练数据，并基于所述训练数据训练分类神经网络，生成行为分类模型；

检测模块，用于利用所述行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在目标行为动作。

8.根据权利要求7所述的行为动作检测系统，其特征在于，所述目标行为动作包括以下至少之一：翻越行为动作、爬行行为动作。