[发明专利]一种基于多模型融合的船舶水尺读数自动识别方法

权利要求书

1.一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，包括以下步骤：

（1）对采集的原始图像进行水尺区域检测；

（2）从原始图像中抠取水尺局部图像；

（3）对水尺局部图像进行图像处理，获得其变化的旋转平移矩阵M；

（4）原始图像经过步骤（3）获得的旋转平移矩阵M矫正，得到矫正后的原始图像；

（5）根据矫正后的原始图像旋转中心位置信息和长宽数值抠取矫正后的水尺局部图像，对矫正后的水尺局部图像进行刻度字符检测，获得刻度字符检测结果，刻度字符检测结果包括刻度字符的读数信息和边界包围框；

（6）对于刻度字符检测结果进行矫正，得到水尺刻度读数；

（7）根据步骤（6）得到的水尺刻度读数中每个刻度读数和其对应的位置信息进行多项式拟合，获得水尺刻度读数与纵轴位置的非线性关系式，建立刻度读数模型；

（8）将步骤（4）得到的矫正后的原始图像输入U-net神经网络进行图像分割，获得吃水线位置信息；

（9）将吃水线位置信息输入步骤（7）建立的刻度读数模型计算得到原始图像水尺吃水线的刻度读数；

其中步骤（3）是对水尺局部图像采取边缘检测、二值化、膨胀腐蚀的图像处理算法，获得刻度字符区域的外界矩形，根据刻度字符区域的外界矩形的倾斜角度和旋转中心，计算出水尺局部图像倾斜矫正的旋转平移矩阵M；

步骤（5）中对矫正后的水尺局部图像进行刻度字符检测的具体方法是：

利用YOLOv4字符目标检测模型检测字符目标，字符目标为0到9的数字、字母M和小数点，共计12类目标，根据字符目标检测结果信息，获得刻度字符检测结果；

步骤（6）中对于刻度字符检测结果进行矫正包括：

第一步，结合边缘检测的结果信息，对每一行刻度字符的边界包围框进行矫正，然后将每一行的刻度字符检测结果合并，同时合并每一行刻度字符的识别结果；

第二步，对每一行刻度字符的识别结果进行矫正，利用水尺刻度从上到下数值大小排序的先验知识剔除异常数据和修复错误数据；

所述第一步的具体步骤如下：

比对刻度字符的边界包围框和边缘检测的结果信息；若边缘检测的边界在刻度字符的边界包围框内部，则按边缘检测的边界更新刻度字符的边界包围框结果，得到最终的刻度字符边界包围框；否则不处理，直接使用刻度字符的边界包围框作为最终的刻度字符边界包围框；从而获得更加贴合刻度字符的边界包围框；在获得每个刻度字符更加贴合的边界包围框后，将每一行的刻度字符检测结果合并，确保同一行的刻度字符共用一个大的边界包围框。

2.根据权利要求1所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，步骤（1）和步骤（2）的具体方法是：

利用YOLOv4水尺目标检测模型检测水尺目标，检测目标为水尺，根据水尺目标检测结果信息，从原始图像中抠取水尺局部图像。

3.根据权利要求2所述的一种基于多模型融合的船舶水尺读数自动识别方法，其特征在于，YOLOv4水尺目标检测模型的训练方法是：人工标注巡检原始图像不少于5000张，YOLOv4神经网络结构以Darknet53为主干结构，引入SPP和PANet结构加强特征提取和多尺度预测，网络输入为608*608分辨率的3通道图像数据；训练过程随机抽取20%的样本作为验证集，80%的样本作为训练集，训练平台为darknet，训练不少于200epoch；等待训练完成之后，生成相应的深度学习水尺目标检测模型，利用得到的深度学习水尺目标检测模型对未训练的原始图像进行测试，得到测试结果，并根据测试结果优化调整深度学习水尺目标检测模型，最终得到YOLOv4水尺目标检测模型。