[发明专利]一种建造场景下吊装对象的识别方法

权利要求书

1.一种建造场景下吊装对象的识别方法，其特征在于该方法包括以下步骤：

(1)用立体相机从不同角度拍摄施工现场场景，得到一个点云文件；点云文件中的(x，y，z)代表施工现场场景中任意一个空间点的三维坐标，点云文件中的(u，v)代表相应图像像素坐标，点云文件中的(R，G，B)代表像素颜色信息；

(2)对Faster R-CNN模型进行训练，得到一个训练后的Faster R-CNN模型；

(3)根据步骤(1)的点云文件中的(u，v，R，G，B)，得到施工现场场景图像，利用步骤(2)的训练后的FasterR-CNN模型，从施工现场场景图像中提取待识别吊装对象的前景即边界框以及吊装对象的种类；

(4)利用Canny方法，设定一个Canny方法的初始阈值，对步骤(3)得到的待识别吊装对象的边界框进行检测，得到待识别吊装对象的初始轮廓点，计算初始轮廓点中的连续轮廓点的像素坐标(u，v)的最大值和最小值所构成的最小封闭矩形的面积，将该面积与步骤(3)的边界框的面积进行比较，当该面积小于步骤(3)的边界框的面积时，将连续轮廓点作为物体表面纹理而删除，得到待识别吊装对象的轮廓点；

(5)对步骤(4)的待识别吊装对象轮廓点进行霍夫变换,得到待识别吊装对象的多个轮廓线段，将轮廓线段记为L；

(6)根据步骤(5)的多个轮廓线段L的多个端点，设定欧式距离的初始阈值D，分别计算所有任意两个端点之间的欧式距离E，得到多个欧式距离E，并分别将多个欧式距离与欧式距离初始阈值D进行比较，若欧式距离大于D，则判定两个端点不重合，若欧式距离小于或等于D，则将两个端点称为聚类点，遍历所有轮廓线段L的所有端点，重复本步骤，得到多组聚类点，将同一组聚类点中的所有端点合并成一个点，将该点记为待识别吊装对象的一个顶点，该顶点的坐标为(x，y，z)，并用该顶点的坐标替换同一组聚类点的所有端点，即步骤(5)轮廓线段的端点被该顶点替换生成新的线段,将同一组聚类点中的端点数量称为该顶点的聚集度；

(7)对步骤(6)得到的顶点聚集度进行从最大到最小排序，根据排序结果进行判断，确定待识别吊装对象的空间位置，包括以下步骤：

(7-1)从排序结果中选择聚集度≥3的顶点，将包含聚集度≥3的同一顶点的任意三条线段记为一组；

(7-2)判断步骤(7-1)的线段组中任意两两线段之间是否互相垂直，若三条线段中任意两条线段之间都满足|Δx_i*Δx_j+Δy_i*Δy_j+Δz_i*Δz_j|≤0.5，则三条线段两两相互垂直，确定该顶点为待识别吊装对象的顶点，且该组的线段为待识别吊装对象的边，若三条线段中存在两条线段之间|Δx_i*Δx_j+Δy_i*Δy_j+Δz_i*Δz_j|＞0.5，则返回(7-1)，直至遍历所有步骤(7-1)的线段组，进行步骤(7-3)；

(7-3)从步骤(6)的线段中选择一条线段L1，线段L1的两个端点均为聚类点，选择包含一个该聚类点的线段L2，并且标记所选择的线段；选择包含另一个聚类点B的线段L4，并且标记所选择的线段L1、L2和L4；

(7-4)判断步骤(7-3)的线段组L1、L2和L4中的任意两两线段之间是否互相垂直，若三条线段中任意两条线段之间都满足|Δx_i*Δx_j+Δy_i*Δy_j+Δz_i*Δz_j|≤0.5，则确定该顶点为待识别吊装对象的顶点，且该组的线段L1、L2和L4为待识别吊装对象的边，若三条线段中存在两条线段之间|Δx_i*Δx_j+Δy_i*Δy_j+Δz_i*Δz_j|＞0.5，则返回步骤(7-3)，直至遍历包含L1两个端点的所有线段；若遍历所有满足步骤(7-3)要求的线段，但未找到吊装对象，则返回步骤(4)进行Canny检测，并调整Canny方法的阈值；

(8)根据步骤(7)得到的三个提取的线段，计算待吊装对象的质心坐标和三维尺寸，包括以下步骤：

(8-1)根据步骤(7-1)得到的具有公共顶点A的三条线段L1、L2、和L3，利用顶点A和其他三个端点的空间坐标，确定从顶点A开始的三个空间方向的向量：和设定O点是相机坐标系的原点，点P是待识别吊装对象的质心和线段L_AC的中点，利用下式：计算得到质心P点的坐标，分别计算线段L1、L2和L3的两个端点之间的欧式距离E，得到待识别吊装对象的三维尺寸；

(8-2)根据步骤(7-3)得到的三条互相垂直且相交于两点的线段，即线段L1、L2和L4，具有公共顶点A和B，利用顶点A和其他两个端点的空间坐标，确定来自顶点A的两个空间方向矢量：和来自顶点B的空间方向向量：设定O点是相机坐标系的原点，点P是待识别吊装对象的质心和线段L_AC的中点，利用下式：计算得到出质心P点的坐标，计算线段L1、L2和L4的两个端点之间的欧式距离E，得到待识别吊装对象的三维尺寸；

(9)采用白平衡方法，对步骤(3)得到的待识别吊装对象边界框图像进行处理，平衡待识别吊装对象边界框图像中红、绿、蓝光的比例，以修复白色以及其他颜色，获得消除光照影响后的待识别吊装对象边界框图像颜色；采用灰度世界算法，计算待识别吊装对象边界框图像的平均灰度值W，其中N是步骤(3)中所获得的待识别吊装对象的前景图像中像素坐标(u，v)的最大值的乘积，即N＝u_max*v_max，R_S、G_S和B_S分别表示待识别吊装对象边界框图像中像素s的红色、绿色和蓝色值，利用公式：分别计算得到三个增益值W_R、W_G和W_B，根据增益值，计算白平衡校正后的像素s的R_S、G_S和B_S：R_{s,whitebalance}＝R_s*W_R，G_{s,whitebalance}＝G_s*W_G，B_{s,whitebalance}＝B_s*W_B；

(10)从步骤(6)得到的顶点中随机选择两个顶点，从该两顶点之间的连线上任取1个线性插值点，将线性插值点记为像素点k，像素点k的颜色值记为R_k、G_k和B_k，重复n次，计算待识别吊装对象的RGB颜色数值R_sample，G_sample，B_sample：即为降低阴影影响后的待识别吊装对象的RGB颜色数值；

(11)建立一个建造场景下所有吊装对象的图像数据库，该数据库中，将“Global ID”作为每个吊装对象的唯一标识，每个吊装对象的初始位置坐标设为(0，0，0)，根据步骤(3)得到的待识别吊装对象的种类、步骤(8)得到的待识别吊装对象的尺寸、步骤(9)和步骤(10)得到的消除光照及阴影影响的待识别吊装对象的颜色信息，在建筑施工过程中，根据立体相机拍摄图像与待识别吊装对象之间的允许误差，对图像数据库进行检索，得到与待识别吊装对象相对应的“Global ID”，并用步骤(8)计算得到的待识别吊装对象的质心坐标替换数据库中该待识别吊装对象的初始坐标，从而获取待识别吊装对象的不可见特征，实现建造场景下吊装对象的识别。