[发明专利]一种行为动作检测方法、系统、设备及介质

说明书

本发明提供一种行为动作检测方法、系统、设备及介质，通过从视频流中截取一帧或多帧图像；对一帧或多帧图像进行人体框标注和行为类别标注，并按照标注的人体框坐标从一帧或多帧图像中裁剪出对应的图像区域；将裁剪出的带人体框标注和行为类别标注的图像区域作为训练数据，并基于训练数据训练分类神经网络，生成行为分类模型；利用行为分类模型对待检测的图像进行检测，确定待检测的图像中是否存在目标行为动作。本发明利用深度学习算法进行翻越行为检测，可以大幅降低误检率和漏检率。并且本发明能够应用在多个场景中，可以针对人在栏杆附近的行为进行针对性学习区分，更精确地判断人是扶着栏杆还是正在翻越，使本发明的误报率能够小于1％。

技术领域

本发明涉及图像识别技术领域，特别是涉及一种行为动作检测方法、系统、设备及介质。

背景技术

传统的翻越行为检测通常依赖于人工操作，需要利用人员现场值守来判断是否存在翻越行为，但该方法有很大局限性，例如对人力资源需求大，管理成本高，工作效率低下，且人的观察范围有限，精力有限，检测准确性十分依赖于精神集中度等主观因素。此外也有专门人员值守观察监控方法，同时负责多个监控，虽然效率高于现场值守方法，但也受限于人的主观能力。

随着社会经济和科学技术发展，人力检测的方法相比于其他自动检测方法缺点越发明显。例如现有技术提供有翻越检测方法，这些方法的思路是在栏杆或者围墙上，安装例如红外、微波等感应装置，导致这种方法设备成本和安装成本非常高，并且迁移性差，在很多场合下难以落地应用。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种行为动作检测方法、系统、设备及介质，用于解决现有技术中采用人工检测翻越行为动作时存在的技术问题。

为实现上述目的及其他相关目的，本发明提供一种行为动作检测方法，包括以下步骤：

从视频流中截取一帧或多帧图像；

对所述一帧或多帧图像进行人体框标注和行为类别标注，并按照标注的人体框坐标从所述一帧或多帧图像中裁剪出对应的图像区域；

将裁剪出的带人体框标注和行为类别标注的图像区域作为训练数据，并基于所述训练数据训练分类神经网络，生成行为分类模型；

利用所述行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在目标行为动作。

可选地，所述目标行为动作包括以下至少之一：翻越行为动作、爬行行为动作。

可选地，还包括将存在翻越行为动作的图像记为正例、不存在翻越行为动作的图像记为反例；

利用所述行为分类模型对待检测的图像进行检测时，若所述行为分类模型将存在翻越行为动作的图像检测为反例，则将所述行为分类模型的当次检测结果记为漏检；若所述行为分类模型将不存在翻越行为动作的图像检测为正例，则将所述行为分类模型的当次检测结果记为误检；

根据所述漏检和/或误检迭代优化所述行为分类模型，降低所述行为分类模型的漏检和/或误检。

可选地，根据所述漏检和/或误检迭代优化所述行为分类模型，若所述正例的召回率大于第一阈值，以及所述负例的召回率大于第二阈值时，停止对所述行为分类模型的优化，并将此时的行为分类模型作为最终的行为分类模型；

利用最终的行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在翻越行为动作。

可选地，利用所述行为分类模型对待检测的图像进行检测，确定所述待检测的图像中是否存在翻越行为动作，包括：

将待检测的图像输入至人体检测工具包中，通过所述人体检测工具包将待检测图像的尺寸调整至目标尺寸后进行推理，返回所有人体在待检测的图像上的人体框坐标和对应的置信度；其中，所述人体检测工具包括有用于获取人体框坐标和对应置信度的人体检测模型和/或人体关键点模型；