[发明专利]基于机器视觉的集装箱卡车自动装卸方法及系统

权利要求书

1.一种基于机器视觉的集装箱卡车自动装卸系统的自动装卸方法，其特征在于，

所述系统包括：

轨道吊；

吊具，设置于所述轨道吊下方；

第一图像获取装置，设置于所述吊具朝向集装箱的一侧；

第二图像获取装置，设置于轨道吊的横梁，并朝向集装箱卡车的停车区域；

处理器，所述处理器用于实现指令，所述处理器电连接所述轨道吊、所述吊具、所述第一图像获取装置及所述第二图像获取装置；及存储设备，用于存储所述指令；所述指令用于由所述处理器加载并执行；

所述方法包括：

S1，构建堆场坐标系，其中，以堆场的一个角点作为所述堆场坐标系的原点，以集装箱放置的长度方向为X轴，以集装箱放置的宽度方向为Y轴，以集装箱层叠方向为Z轴；

设置网格精度为10cm对堆场进行划分，每个网格通过计算与堆场坐标系原点的相对距离，结合网格精度，将堆场坐标系中的任一点与箱位信息进行转换，通过公式（1）（2）（3）分别获得贝位J、列位K及层位L；

J= 公式（1）

K=公式（2）

L=公式（3）

式中c1为一个贝位的长度，即一个标准20英尺的集装箱的长度，c2为一个标准集装箱的宽度，c3为一个标准集装箱的高度；

S2，获取箱位信息，根据所述箱位信息分配吊具到指定作业区域上方后获取第一图像；

S3，将所述第一图像输入至集装箱识别模型以识别集装箱的四个角的锁孔，并得到对应每个锁孔的锁孔坐标值，集装箱识别模型包括第一锁孔识别模型、第二锁孔识别模型、第三锁孔识别模型及第四锁孔识别模型；

S31，将第一图像分别输入至所述第一锁孔识别模型、所述第二锁孔识别模型、所述第三锁孔识别模型及所述第四锁孔识别模型，以确定锁孔位于所述第一图像的相对位置；

S32，根据锁孔位于所述第一图像的相对位置以及所述第一图像的中心点坐标，得到第一锁孔坐标值、第二锁孔坐标值、第三锁孔坐标值、第四锁孔坐标值；

其中，集装箱识别模型的获取方法包括：

S301，获取若干训练图像，训练图像包括一个完整的集装箱图像，若干训练图像包括集装箱每一角点的周围具有一个或多个其他集装箱的部分图像；

S302，对训练图像进行剪裁，以得到分别对应集装箱四个角点的第一局部图像、第二局部图像、第三局部图像及第四局部图像；

S303，将若干第一局部影像、第二局部图像、第三局部图像及第四局部图像分别输入至不同的子神经网络模型，并训练得到相应的第一锁孔识别模型、第二锁孔识别模型、第三锁孔识别模型及第四锁孔识别模型；

S4，根据所述锁孔坐标值得到集装箱的第一中心点坐标，所述第一中心点坐标为四个所述锁孔围成的矩形的中心点的坐标；

S5，根据所述第一中心点坐标调整所述吊具的位置，使所述吊具正对所述第一中心点坐标，并抓取集装箱；

S6，获取第二图像，所述第二图像包括集装箱卡车；

S7，将所述第二图像输入至集卡识别模型以识别集装箱卡车的车架，并得到所述车架的四个角点的标定坐标值；

S8，根据所述标定坐标值及标准停车区域的角点坐标得到第二中心点坐标及角度偏移量；

S9，根据所述第二中心点坐标及所述角度偏移量确定所述吊具的位移量与偏转角度，并放置集装箱。