[发明专利]一种AI与视觉结合的智能集卡定位方法和系统

说明书

一种AI与视觉结合的智能集卡定位方法和装置，预先通过摄像头标定车辆停车点，包括：1)读取摄像头的视频流，解码成图片，对图片进行预处理；2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位，得到集装箱或车架的中心点，计算该中心点与标定的车辆停车点的欧式距离，若欧氏距离大于预设值，则回到步骤1)，否则进入步骤3)；3)对图片采用模板匹配算法，将图片与集装箱或车架的模板进行匹配，输出最优解即得到集装箱或车架位置。

技术领域

本发明涉及集卡定位领域，特别是指一种AI与视觉结合的智能集卡定位方法和系统。

背景技术

集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时，龙门吊司机使用操作手柄手动控制吊具，进行集装箱的对位和抓取。操作过程中，司机需注意力高度集中，长时间作业会导致司机疲劳，进而降低对位作业效率和精确性。

另外，货船在装卸集装箱过程中，桥吊在固定位置不动。前一辆集装箱车装卸完后，后一辆集装箱就需要开到指定位置，因此集装箱车一般情况下都比吊具提前到位。

现有技术中，大都采用的激光立体扫描测距的方式，对集装箱和车架顶面扫描测距，进而引导车辆到位。这种方案缺点是价格昂贵，功能单一，维护成本高，精度不可提升。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种AI与视觉结合的智能集卡定位方法和系统，提高识别精度。

本发明采用如下技术方案：

一种AI与视觉结合的智能集卡定位方法，预先通过摄像头标定车辆停车点，其特征在于，包括：

1)读取摄像头的视频流，解码成图片，对图片进行预处理；

2)将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位，得到集装箱或车架的中心点，计算该中心点与标定的车辆停车点的欧式距离，若欧氏距离大于预设值，则回到步骤1)，否则进入步骤3)；

3)对图片采用模板匹配算法，将图片与集装箱或车架的模板进行匹配，输出最优解即得到集装箱或车架位置。

优选的，所述预处理包括浮雕算法、拉普拉斯算子、自定义卷积核和图像融合。

优选的，所述Mask RCNN神经网络训练过程如下：

a获取摄像头的视频流，通过目标检测算法识别出集装箱，获取带有集装箱的图像，并使用labelme进行集装箱顶面的mask标注工作，从而建立集装箱顶部的样本库；

b从样本库中提取训练集、验证集、测试集；

c建立Mask RCNN神经网络，使用训练集进行训练，通过验证集来评判Mask RCNN神经网络是否符合要求，并通过测试进行测试，最终得到训练好的Mask RCNN神经网络。

优选的，步骤2)中，将处理后的图片输入预先训练好的Mask RCNN神经网络深度学习进行定位，得到集装箱或车架的中心点，具体为：将图片输入预先训练好的Mask RCNN神经网络，得到二值化图，根据二值化图计算得到集装箱或车架的中心点。

优选的，所述根据二值化图计算得到集装箱或车架的中心点，具体为先通过开闭运算操作，得到代表集装箱或车架顶面的所有坐标点，之后再得到所述集装箱或车架的中心点。

优选的，步骤3)中，若采用模板匹配算法识别出错，则将计算得到的欧式距离作为集装箱或车架位置的检测结果。

优选的，所述模板匹配算法识别出错是指，模板匹配的结果小于预设的阈值。

优选的，所述模板匹配算法包括平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法或归一化相关系数匹配法。