[发明专利]一种用于数字孪生的起重机摇摆情形下的重建方法及系统

说明书

本发明涉及一种用于数字孪生的起重机摇摆情形下的重建方法及系统，利用摄像机采集环境视觉图像，从图像中提取环境中的参照物，建立视觉空间模型，从图像中提取操作目标，并基于参照物计算起重机自身摇摆参数，进行数字孪生影像重建。由此能够在虚拟环境中准确的将相关反馈表现出来，提高数字孪生实验教学的真实性。

技术领域

本发明内容属于起重机摇摆幅度测量领域，特别地，涉及一种起重机摇摆测量控制系统。

背景技术

我国工业的建设经历了机械化、自动化、数字化这几个发展阶段，工厂的生产工艺和管理效率都有了突飞猛进的发展，为我国的工业事业和城市发展做出了巨大贡献。近年来，随着智慧城市、智慧工业、数字中国等项目建设的不断推进，社会发展对工厂的管理者提出了更高的要求。目前来说，整个工业总体上仍然是一个劳动密集型的传统产业，产业现代化水平不高，存在建设周期较长、资源能源消耗较高及生产效率、科技含量偏低等问题。在工业4.0的大浪潮下，通过建设基于数字孪生技术的智能起重机操作教育平台，基于数字信息、自控、设备、通讯传输、AI智能分析模型完善起重机操作教研措施，建立起重机操作虚拟化、抽象化的数字孪生模型，从而全面提升机械设计制造及其自动化等相关专业的工程实践水平。

现实中，起重机在吊起重物时自身会发生摇摆，虽然进行了配重等各种手段，但微小的摇摆总是不可避免的，这是起重机的工作模式和物理结构决定的。为了在数字孪生环境模型下模拟这一现实反馈，需要对现实物理环境中起重机吊起真实物体时产生的摆动进行测量，从而能够在虚拟环境中准确的将相关反馈表现出来，提高数字孪生的真实性。

现有技术中测量起重机的摇摆可以通过加装定位传感器来实现，但成本较高。也有采用机器视觉进行摇摆测量的，但通常拍摄对象为起重机，由此使得测量精确度取决于图像分辨率，对于微小的摇摆很难检测。目前虽然也有人提出在起重机上安装相机，根据相机拍摄预先设定好的标记物来反推起重机的摇摆情况，但设置标记物非常麻烦，不符合工程现场操作要求，且对标记物本身要求较高，否则精度将大幅度降低。为此，急需一种能够方便起重机现场使用，准确确定摇摆参数的技术方案。

发明内容

为解决上述一个或多个技术问题，现提出：

一种用于数字孪生的起重机摇摆情形下的重建方法，

预先布置：在起重机的驾驶舱装配两台摄像机采集图像，分别标记为、；在起重机基座装配一台摄像机，标记为，三台摄像机同步采集视觉图像；

步骤1：基于视觉的参照物提取及操作目标提取

1-1：提取图像特征点

1-2：如果一个特征点及其周围邻域满足下式，则保留其为参照物特征点候选；

如果一个特征点及其周围邻域满足下式，则保留其为操作目标特征点候选；

其中为像素坐标；由此得到三台摄像机中参照物特征点候选集合分别为、、，操作目标特征点候选集合分别为、、；

1-3：根据特征点算法对三个摄像机的参照物特征点集合中的特征点进行匹配，并获得匹配的特征点集合、、；

在中随机选取一个特征点，设其坐标为，在中随机选取一个特征点，设其坐标为。分别计算其周围邻域像素之和。

其中表示高斯卷积模板，表示特征点周围邻域，表示特征点周围邻域；

如果，则将及其在其它两个对应集合、中的对应点一起加入参照物特征点集；否则如果，则将及其在其它两个对应集合、中的对应点一起加入参照物特征点集；