[发明专利]一种对吊臂下站人的违规行为检测方法、系统及终端

权利要求书

1.一种对吊臂下站人的违规行为检测方法，其特征在于，方法包括：

步骤一：依据起重机的位置设置两个相机，以使起重机处于两个相机的公共视场内，通过两个相机的视场交汇形成的双目视觉模型；

步骤二：利用双目相机拍摄施工现场视频，并对视频流进行解码，分别获取两个相机解码后的待检图像；

步骤三：将双目相机拍摄的左右两张图像输入到训练好的起重机关键点检测模型中，对两张图片进行检测，分别得到起重机关键点在两张图片上像素坐标系的坐标值；

步骤四：将双目相机拍摄的左右两幅图像输入到训练好的人体关键点检测模型中，所述人体关键点检测模型以人体作为检测目标，检测图像中人体的多个关键点；

步骤五：将步骤三中得到的起重机的关键点坐标，输入到步骤一的双目视觉定位模块中，得到起重机的8个关键点在世界坐标系中的坐标值；通过最小二乘法原理拟合出这8个坐标点的最小逼近平面P₁，然后根据最小逼近平面P₁建立起重机坐标系；

步骤六：将步骤四中得到的左右相机拍摄图片的人体关键点在像素坐标系中的坐标值，输入到步骤一所述的双目视觉定位模块中，得到人体的关键点在世界坐标系中的坐标值，并计算关键点的均值坐标P(x₁,y₁,z₁)；

步骤七：计算步骤六中得出的点P(x₁,y₁,z₁)距离步骤五得出的逼近平面P₁的距离d₁；距离d₁的计算方式如下：

步骤八：根据如下公式计算步骤六得出的点在起重机坐标系中的坐标位置；

其中R是3×3的正交单位矩阵，平移向量t是一个3×1维的向量，P(x₁,y₁,z₁)为所述步骤六中得出的人体关键点的均值坐标，(x_cra,y_cra,z_cra)为人体关键点的均值坐标映射到起重机坐标系下的点的值；

步骤九：根据起重机坐标系中的坐标位置与人体关键点的均值坐标之间关系，进行合规性判断，输出合规性判断结果。

2.根据权利要求1所述的对吊臂下站人的违规行为检测方法，其特征在于，

步骤一还包括：

建立坐标系；

配置从世界坐标系映射到相机坐标系的三维坐标系转换方式；转换方式的表达式为：

对应的齐次表达式为：

其中R是3×3的正交单位矩阵，平移向量t是一个3×1维的向量，R、t与摄像机无关，两个参数为摄像机的外参数，X_w、Y_w、Z_w是世界坐标系下某一点，X_c、Y_c、Z_c为世界坐标系下一点映射到相机坐标系下的点；

将相机坐标系投影到图像坐标系，得到三维坐标到二维坐标的转换方式；

相机坐标系到图像坐标系之间的转换关系满足相机的针孔成像模型，针孔成像模型对空间点进行一定比例的放缩操作，经过小孔O_c，投影到二维成像平面；平面π称为相机的像平面，点O_c称为摄像机的中心，f为摄像机的焦距；

空间点P在摄像机坐标系中的齐次坐标为：

X_c＝[X_c Y_c Z_c 1]^T，

像点m在图像坐标系中的齐次坐标记为：

m＝[x y 1]^T

使用矩阵表示为：