[发明专利]一种用于数字孪生的起重机摇摆情形下的重建方法及系统

权利要求书

1.一种用于数字孪生的起重机摇摆情形下的重建方法，其特征在于：

预先布置：在起重机的驾驶舱装配两台摄像机采集图像，分别标记为 、；在起重机基座装配一台摄像机，标记为，三台摄像机同步采集视觉图像；

步骤1：基于视觉的参照物提取及操作目标提取

1-1：提取图像特征点

1-2：如果一个特征点及其周围邻域满足下式，则保留其为参照物特征点候选；

；

如果一个特征点及其周围邻域满足下式，则保留其为操作目标特征点候选；

；

其中为像素坐标；由此得到三台摄像机中参照物特征点候选集合分别为、、，操作目标特征点候选集合分别为、、；

1-3：根据特征点算法对三个摄像机的参照物特征点集合中的特征点进行匹配，并获得匹配的特征点集合、、；

在中随机选取一个特征点，设其坐标为，在中随机选取一个特征点，设其坐标为，分别计算其周围邻域像素之和，

；

其中表示高斯卷积模板，表示特征点周围邻域，表示特征点周围邻域；

如果，则将及其在其它两个对应集合、中的对应点一起加入参照物特征点集；否则如果，则将及其在其它两个对应集合、中的对应点一起加入参照物特征点集；

以此类推，在中随机选取一个特征点，在中随机选取一个特征点，分别按式（3）计算其周围邻域像素之和，并参照式（4）、（5）进行对比，将相应的特征点及其两个对应点加入参照物特征点集；在中随机选取一个特征点，在中随机选取一个特征点，分别按式（3）计算其周围邻域像素之和，并参照式（4）、（5）进行对比，将相应的特征点及其两个对应点加入参照物特征点集；

步骤2：根据步骤1所得到参照物特征点在图像中的坐标，计算起重机运行过程中的摇摆参数。

2.如权利要求1所述的一种用于数字孪生的起重机摇摆情形下的重建方法，其特征在于：在步骤1-3中还包括将操作目标特征点候选集合、、中对应的一组特征点及其邻域依次输入神经网络分类器，得到优化后的操作目标特征点集。

3.如权利要求2所述的一种用于数字孪生的起重机摇摆情形下的重建方法，其特征在于：还包括步骤3：根据操作目标特征点集将目标映射至数字孪生环境中。

4.如权利要求2所述的一种用于数字孪生的起重机摇摆情形下的重建方法，其特征在于：神经网络分类器为非线性二值神经网络分类器。

5.如权利要求2所述的一种用于数字孪生的起重机摇摆情形下的重建方法，其特征在于：根据参照物特征点在三台摄像机图像中的坐标变化能够计算得到三台摄像机的实际位置变化，根据三台摄像机的实际位置变化能够计算得到起重机的摇摆参数。

6.一种实施上述如权利要求1-5任一所述方法的起重机摇摆情形下的重建系统，其特征在于：包括三台摄像机、现场处理器和服务器。

7.如权利要求6所述的起重机摇摆情形下的重建系统，其特征在于：两台摄像机设置在起重机的驾驶舱；另一台摄像机设置在起重机基座。

8.如权利要求7所述的起重机摇摆情形下的重建系统，其特征在于：操作目标包含于三台摄像机的共同视场内。

9.如权利要求6所述的起重机摇摆情形下的重建系统，其特征在于：现场处理器用于根据步骤1、步骤2计算摇摆参数。

10.如权利要求6所述的起重机摇摆情形下的重建系统，其特征在于：服务器用于生成数字孪生影像。