[发明专利]基于多视觉融合的工件表面缺陷和字符识别的方法及系统

权利要求书

1.基于多视觉融合的工件表面缺陷和字符识别的系统，其特征在于，包括工控计算机、载物台、传送皮带、多个工业相机、多个可调色光源和多个光源控制器，所述工控计算机分别与每个光源控制器和每个工业相机连接；所述载物台搭载在传送皮带上，用于放置待检工件，所述待检工件为圆柱状待检工件；所述传送皮带用于运输待检工件；多个所述工业相机两两相第一隔预设角度分布在待检工件周围，用于拍摄待检工件表面图像；多个所述可调色光源两两相隔第二预设角度分布在待检工件周围，每个可调色光源设有三个信道，分别对应红光、绿光、蓝光，每个光源控制器连接一个可调色光源，用于控制可调色光源；通过光源控制器，在工控计算机上调整红光、绿光、蓝光的强度，得到对应可调色光源所需的颜色光源。

2.根据权利要求1所述的基于多视觉融合的工件表面缺陷和字符识别的系统，其特征在于，所述工业相机和可调色光源的数量均为三个，三个所述工业相机两两间隔120°均匀分布在待检工件周围，三个所述可调色光源两两间隔120°分布在待检工件周围。

3.基于多视觉融合的工件表面缺陷和字符识别的方法，其特征在于，利用权利要求1-2中任一项所述的基于多视觉融合的待检工件表面缺陷和字符识别的系统进行检测，包括以下步骤：

S1、将待检工件放置在载物台上，分别开启每个工业相机、每个可调色光源、每个光源控制器以及工控计算机，通过工控计算机和每个光源控制器调整每个对应可调色光源的光源颜色，确保待检工件的成像效果；

S2、通过多个工业相机，采集待检工件的图像；

S3、对多个工业相机采集到的图像进行图像特征融合与拼接，得到拼接图像；

S4、缩放拼接图像，利用sift特征匹配完成待检工件表面标签的粗定位；

S5、利用Retinex算法进行图像增强，进一步减小光照对待检工件的影响，改善图像质量；

S6、采取高斯空间滤波方法，去除图像噪点，并利用GANomaly网络进行待检工件表面缺陷检测，得到待检工件缺陷信息；

S7、通过自适应阈值分割算法，得到二值化图像；

S8、利用CTPN网络进行待检工件表面字符定位；

S9、重新获取待检工件的图像样本，制作训练数据集，进行CRNN网络训练、验证，并将步骤S8定位的字符送入已训练、验证的CRNN网络进行文字识别，得到待检工件表面字符识别结果；

S10、将步骤S6所得的待检工件缺陷信息和步骤S9所得的待检工件表面字符识别结果，通过工控计算机可视化输出，显示在步骤S3所得的拼接图像中；

S11、根据拼接图像显示的待检工件缺陷信息和字符识别结果判断待检工件是否分拣，若有缺陷和/或字符出错，则分拣；反之，则不处理。

4.根据权利要求3所述的基于多视觉融合的待检工件表面缺陷和字符识别的方法，其特征在于，所述步骤S1中，通过工控计算机和每个光源控制器调整每个对应可调色光源的光源颜色，确保待检工件的成像效果的具体方法为：

首先，根据待检工件的外观颜色和标签颜色，选择与待检工件为互补色的光源颜色增强对比色，或者选择与待检工件的背景为临近色的光源颜色去除不必要信息的干扰；其次，通过光源控制器，在工控计算机上调整对应可调色光源的红光、绿光或蓝光的强度，每个可调色光源得到需要的光源颜色，从成像方面确保待检工件表面字符的成像质量。

5.根据权利要求3所述的基于多视觉融合的待检工件表面缺陷和字符识别的方法，其特征在于，所述步骤S3具体包括如下步骤：

S31、将每个工业相机采集到的图像在保持纵横比的情况下，缩放尺寸得到最终尺寸，其中，最短边为800个像素，对缩放后的每幅图像采用快速鲁棒性特征算法进行特征点提取；

S32、将提取的特征点进行快速近似近邻算法匹配；

S33、建立图像间的单应性矩阵，选择随机抽样一致算法继续筛选可靠的匹配点，完成图像配准；

S34、根据多波段融合策略实现图像融合，消除拼接裂缝和鬼影现象。