[发明专利]一种低成本多通道实时数字仪表盘视觉识别方法及系统

说明书

本发明提供了一种低成本多通道实时数字仪表盘视觉识别方法及系统，包括：S1、数字区域配置；包括数码管区域配置和数码管小数点信息配置S2：子区域ROI预处理；S3：子区域识别；S4：子区域后处理；S5：对数字识别模型进行训练、更新、测试；S6：发布完成模型。本发明针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。

技术领域

本发明属于工业生产监控领域，特别是涉及到一种低成本多通道实时数字仪表盘视觉识别方法及系统。

背景技术

识别各种仪器仪表示数任务不同于传统的光学字符识别(OCR)问题，更接近于自然场景的文本识别问题，这方面的研究从整体上可以分为检测(Detection)和识别(Recognition)两个部分；与文档类的OCR问题不同的是，各种仪器仪表示数中的数字检测本身是一件十分困难的事情，许多学者进行了很多的尝试。

在深度学习方法出现之前，基于传统的手工设计特征(Handcraft Features)，包括基于连通区域，以及基于HOG的检测框描述的方法是比较主流的；如通过最大稳定极值区域(MSER-Maximally Stable Extremal Regions)得到字符的候选，并将这些字符候选看作连通图(graph)的顶点，此时就可以将文本行的寻找过程视为聚类(clustering)的过程，因为来自相同文本行的文本通常具有相同的方向、颜色、字体以及形状。在OPENCV中实现了MSER的场景文字检测和识别的算法。

在基于深度学习的办法中，目前看到的大多数解决办法还是检测和识别分开来研究，并没有真正的看检测和识别的端到端完成识别的成果。

Detection部分大多数也是基于备选框(proposal)的，一般先借助Faster R-CNN算法或者SSD算法得到许多个proposal，然后训练分类器对proposal进行分类，最后再做细致处理得到精细的文本区域；这个过程中学者们也解决了文字的方向，大小等的问题。同时，也有基于图像分割来做的，但不是很多，具体可见参考文献。

如果已经检测到了稳定的文本区域，Recognition部分可以采用比较通用的做法：对字符进行分割后单独识别，也可以进行序列识别。CNN+RNN+CTC算法是常用在验证码的自动识别上面。在Detection方面，比较常用的算法是Connectionist Text ProposalNetwork(CPTN)。将CPTN作为Detection算法和将CRNN作为Recognition算法想结合应用于文字识别中，也是常用的一种方式，但该种方法需要大量的训练数据来提高准确率，且算法计算量过大导致文字无法快速的被识别，同样不适用于前期缺乏数据样本的仪器仪表示数任务。

这些算法总结下来有如下问题需要解决：

1.仪器仪表示数任务大多以数码二极管的形式展示，数码二极管有固定的刷新频率，这会导致在连续拍摄一段视频的时候存在较多的图片中显示原本应该被点亮的二极管应为刷新到该频率而变暗，增加了识别稳定性的难度；

2.仪器仪表在实际拍摄中的噪声很大，每一帧图像的前后差异非常高，如图1所示，尽管人的肉眼无法察觉但计算机需要保证在噪声较大的环境中稳定识别仪表盘中的数值依然有很大的难度；

3.实时数据更新有速度要求，在实际生产数据记录中，数字变化的频率较快，如何保证高速实时的识别出拍摄数据对于目前较为综合的OCR算法依然有难度；

4.成本限制下分辨率要求，对于工业上数字仪表盘的监控有大量的需求，但如果采用过高分辨率的相机尽管可以提升准确率，但是速度下降，成本上升对于实际应用也不可接受，因此如何在低分辨率下识别数字也是本算法较其他OCR算法的一个创新之处；

5.在实际生产线上需要同时监控多个仪表盘，因此必然导致拍摄中大多仪表盘并非完全正对，存在各种扭曲情况，如何保证对于各种扭曲情况下仪表盘数字的识别是该项任务的难点之一。