[发明专利]基于深度学习的工业视觉OCR识别系统及方法

权利要求书

1.基于深度学习的工业视觉OCR识别系统，其特征在于，包括PLC控制信号源、图像采集装置和上位机，所述PLC控制信号源通过图像采集装置与上位机连接；

所述PLC控制信号源，用于向图像采集装置发送控制信号；

所述图像采集装置，用于当接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；

所述上位机，用于实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容；基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片，针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。

2.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，在CPU类型的工控机上运行所述深度学习网络，并对该深度学习模型进行优化：基于Intel类型的CPU工控机，借助OpenVINO工具对GPU深度学习模型进行优化；基于ARM类型的CPU工控机，借助NCNN或TVM工具对GPU深度学习模型进行优化。

3.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，所述图像采集装置为工业相机。

4.根据权利要求1所述的基于深度学习的工业视觉OCR识别系统，其特征在于，定位并选择出图片中的待识别内容后，对识别结果进行输出并实时展示，通过显示屏对识别结果进行实时展示。

5.根据权利要求1-4任意一项所述的基于深度学习的工业视觉OCR识别系统，其特征在于，所述系统还包括光源，用于当待拍照区域光照强度不足时，对待拍照区域进行光照强度进行加强。

6.基于深度学习的工业视觉OCR识别方法，应用于权利要求1-5任意一项所述的基于深度学习的工业视觉OCR识别系统，其特征在于，包括如下步骤：

步骤1、通过PLC控制信号源向图像采集装置发送控制信号；

步骤2、当通过图像采集装置接收到所述控制信号时，对待拍照区域进行拍照并将拍照得到的图片传输到上位机，所述图片中至少包含ROI区域，所述ROI区域中至少包含待检测的OCR块和/或序列；

步骤3、通过上位机实时获取图像采集装置的图片，并基于ROI区域判断图片的视野范围大小，根据判断出的视野范围大小进行任务调度，选择相应的端到端的检测与识别方法，定位并选择出图片中的待识别内容；基于ROI区域判断图片的视野范围大小过程中，若图片中仅包含ROI区域，则该图片为小视野范围的图片，若图片中除了包含ROI区域，还包含其它的文字区域，则该图片为大视野范围的图片；针对小视野范围的图片，采用弱监督式端到端检测与识别方法，检测和识别采用一个深度学习网络，只标注待识别的内容，不标注待检测OCR块/序列的位置，定位并选择出图片中的待识别内容，针对大视野范围的图片，先通过轻量型的端到端检测与识别方法，定位并检测出待识别ROI区域，然后再通过弱监督式端到端的检测与识别方法，定位并选择出图片中的待识别内容。