[发明专利]一种对吊臂下站人的违规行为检测方法、系统及终端

说明书

本发明提供一种基于双目视觉及人工智能技术对吊臂下站人的违规行为检测方法、系统及终端，依据起重机的位置设置两个相机；拍摄施工现场视频，并对进行解码获取待检图像；将两张图像输入到训练好的起重机关键点检测模型中，得到起重机关键点在两张图片上像素坐标系的坐标值；左右两幅图像输入到训练好的人体关键点检测模型中，检测图像中人体的多个关键点；将起重机的关键点坐标，输入到双目视觉定位模块中，得到起重机关键点的坐标值，并建立起重机坐标系；将人体关键点在像素坐标系中的坐标值，输入到双目视觉定位模块中，得到均值坐标；根据坐标关系，进行合规性判断。本发明对施工现场的起重机作业的规范性进行监督，减少因违规作业。

技术领域

本发明涉及图像处理及深度学习技术领域，尤其涉及一种基于双目视觉及人工智能技术对吊臂下站人的违规行为检测方法、系统及终端。

背景技术

在电力的施工场景中，起重机的应用非常广泛，每年因起重机违规操作造成的安全事故也时有发生，而起重臂下站人是导致起重机事故的主要原因之一。

在现有的施工场景的监督中，主要是安排监督人员在现场进行监督，若发现违规的情况予以纠正，但是针对起重机设备来说，由于起重机的吊臂在使用过程会不断移动，导致现场监督人员无法实时跟踪吊臂的位置，出现视野盲区，盲区内可能会对位于吊臂之下的人员造成危险，而无法做到进行辨识和提醒，给施工作业带来安全隐患。

发明内容

为了对施工现场的起重机作业的规范性进行监督，减少因违规作业导致的生命和财产损失，本发明采用双目视觉及人工智能技术，对施工现场的起重机吊臂的位置进行时刻监督，并对施工现场工人的位置进行计算，通过比对起重机吊臂的位置及工人的位置，判断是否存在吊臂下站人这一违规行为。

方法包括：

步骤一：依据起重机的位置设置两个相机，以使起重机处于两个相机的公共视场内，通过两个相机的视场交汇形成的双目视觉模型；

步骤二：利用双目相机拍摄施工现场视频，并对视频流进行解码，分别获取两个相机解码后的待检图像；

步骤三：将双目相机拍摄的左右两张图像输入到训练好的起重机关键点检测模型中，对两张图片进行检测，分别得到起重机关键点在两张图片上像素坐标系的坐标值；

步骤四：将双目相机拍摄的左右两幅图像输入到训练好的人体关键点检测模型中，所述人体关键点检测模型以人体作为检测目标，检测图像中人体的多个关键点；

步骤五：将步骤三中得到的起重机的关键点坐标，输入到步骤一的双目视觉定位模块中，得到起重机的8个关键点在世界坐标系中的坐标值；通过最小二乘法原理拟合出这8个坐标点的最小逼近平面P₁，然后根据最小逼近平面P₁建立起重机坐标系；

步骤六：将步骤四中得到的左右相机拍摄图片的人体关键点在像素坐标系中的坐标值，输入到步骤一所述的双目视觉定位模块中，得到人体的关键点在世界坐标系中的坐标值，并计算关键点的均值坐标P(x₁,y₁,z₁)；

步骤七：计算步骤六中得出的点P(x₁,y₁,z₁)距离步骤五得出的逼近平面P₁的距离d₁；距离d₁的计算方式如下：

步骤八：根据如下公式计算步骤六得出的点在起重机坐标系中的坐标位置；