[发明专利]一种桥式起重机设备运行状态量的检测及误差分析方法

权利要求书

1.一种桥式起重机设备运行状态量的检测及误差分析方法，其特征在于，所述方法包括：

A利用深度学习模型Mask R-CNN预测摄像头每帧画面中起重机部件的定位框、部件区域的实例分割以及部件关键点和自然标定物关键点；

B利用起重机上的自然标定物关键点建立世界坐标系，并与Mask R-CNN识别出的对应位置的像素坐标作为求解PnP问题的输入值，求解获得坐标变换的单应性矩阵，即得到当前帧的相机坐标到世界坐标的坐标变换矩阵；

C结合坐标变换矩阵，及Mask R-CNN预测的关键位置像素坐标，利用相机投影变换性质求出像素坐标对应的关键点世界坐标；

D依据求出的关键点世界坐标，计算起重机运行状态量；

E利用微分近似误差的方法，分析求取关键点世界坐标的计算误差，得出了计算误差的解析表达式。

2.如权利要求1所述的桥式起重机设备运行状态量的检测及误差分析方法，其特征在于，所述步骤A具体包括：

制作起重机重要位置关键点、部件定位框及部件区域实例分割的小样本数据集；其中关键点包含：在起重机上相对位置恒定不变的情况下，容易辨识的三个或以上的点，并测量这些点的世界坐标以作为自然标定物；

利用制作好的小样本数据集对Mask R-CNN进行迁移学习；Mask R-CNN的骨干网络选择为在ImageNet数据集上预训练好的ResNet-50，结合特征金字塔结构提取图像不同分辨率下的特征信息；ResNet-50 FPN骨干网络输出的特征图与特征图上的锚点框共同作为区域提供网络层的输入，该层通过softmax判断锚点属于正类还是负类，再利用回归锚点框顶点坐标误差，以获得精确的回归框，其中锚点框顶点回归的损失函数见下式，公式中φ(Aⁱ)是锚点框区域特征图组成的特征向量，W^T_*是需要学习的参数，为真实的锚点框顶点坐标值：

回归框部分的特征图，通过RoIAlign获得固定大小为7×7大小的特征图，并将该特征图用作定位框回归与分类分支、实例分割预测分支与关键点预测分支的输入；其中，RoIAlign层反向公式如下：

其中，x_i代表池化前特征图上的像素点，y_rj代表池化后的第r个候选区域的第j个点，d(.)表示两点之间的距离，i^*(r,j)代表最大池化时选出的最大像素值所在点的坐标，Δh和Δw表示x_i与i^*(r,j)横纵坐标的差值。

3.如权利要求2所述的桥式起重机设备运行状态量的检测及误差分析方法，其特征在于，

所述定位框的回归与分类分支，由两路全连接层构成，一路输出8维向量分别表示定位框每个顶点坐标分量的偏移量；另一路输出向量维度为类别个数，用于预测定位框中对象的类别；用于回归偏移量的一路子分支其损失函数L_box为真实值与预测值的最小二乘误差，形式与锚点框顶点回归的损失函数一样；分类子分支损失函数采用下式交叉熵损失函数L_cls：

其中p_out表示分类子分支的输出，是关于网络权重的函数；N_ap表示样本个数；p_n表示真实的分类标签。

4.如权利要求2所述的桥式起重机设备运行状态量的检测及误差分析方法，其特征在于，

所述实例分割分支与关键点预测分支，均由逆卷积层构成，输出与原图相对应但比例经过缩放的空间概率分布图，以表示每个位置为某种类别的概率；损失函数L_mask和L_point同为交叉熵损失函数，形式与分类子分支损失函数一致；

整个Mask R-CNN网络的总损失函数为L＝L_box+L_cls+L_mask+L_point，在标记的桥式起重机小样本数据集上，利用Adam基于梯度下降算法的优化器最小化总损失函数，得到最优的MaskR-CNN网络模型参数，完成模型的训练。