[发明专利]一种纸质化验单图像预处理方法及系统

说明书

本发明公开一种纸质化验单图像预处理方法及系统，包括：构建包括背景估计子网络、阴影去除子网络和折痕去除子网络的化验单图像预处理模型；对纸质化验单图像采用背景估计子网络进行特征学习，得到全局背景色以及背景和非背景像素的空间分布特征，以此构建阴影注意力图；根据原始纸质化验单图像、全局背景色和阴影注意力图对阴影去除子网络训练后得到无阴影图像；根据无阴影图像采用背景估计子网络构建折痕注意力图，并根据无阴影图像和折痕注意力图对折痕去除子网络训练后，得到无阴影无折痕的化验单图像。提高图像视觉质量和可读性，并确保对具有不同特征的化验单图像具有较好的效果以及鲁棒性。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种纸质化验单图像预处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前，纸质化验单依然是医院检查报告的主要载体，但是不易保存。随着手机的普及，人们更倾向于使用手机摄像头拍摄来保存纸质文档，但是这样做往往会存在问题。例如，文档的几何形状可能会由于拍照角度而发生失真，还有可能因为光源被遮挡而形成阴影，特别地，当纸质化验单本身已存在折痕时，其页面光照分布不均匀问题尤其突出。上述问题会导致化验单的视觉质量和可读性变差，降低后续OCR(Optical CharacterRecognition，光学字符识别)提取信息的准确率。

针对手机拍摄的化验单图像失真问题，传统上多使用人工启发式算法解决图像阴影和折痕等失真问题，但是这对拥有不同特征的图像不具有鲁棒性。文档图像通常具有恒定的背景颜色，基于这一观察提出一种估计局部图像块中背景和文本颜色的技术。随后，将这些局部背景颜色估计与全局参考相匹配以生成阴影图，并使用此阴影图校正原始图像生成最终无阴影图。如文献Bako S,Darabi S,Shechtman E,et al.Removing shadows fromimages of documents[C]//Asian Conference on Computer Vision.Springer,Cham,2016:173-183。

除此之外，还有方法是通过图像材料的二维边界来校正几何和光度(阴影)失真，使用边界插值可以计算校正映射以同时消除常见的几何变形。此外，可以使用相同的插值框架来估计本征照明图像，这个估计的照明图像与原始图像一起可用于去除阴影。如文献，Brown M S,Tsoi Y C.Geometric and shading correction for images of printedmaterials using boundary[J].IEEE Transactions on Image Processing,2006,15(6):1544-1554。

目前，基于深度学习还未提出有效的统一方法同时去除各种文档失真问题，大多数技术专注于提出某种失真问题的解决方案。如文献，Li X,Zhang B,Liao J,etal.Document rectification and illumination correction using a patch-based CNN[J].ACM Transactions on Graphics(TOG),2019,38(6):1-11。使用深度学习的方法分别提出两个卷积神经网络来解决文档图像几何和光照失真，但是光照矫正网络对图像阴影和折痕的处理效果不好。

发明内容

为了解决上述问题，本发明提出了一种纸质化验单图像预处理方法及系统，去除纸质化验单图像的阴影和折痕，通过背景估计子网络提取化验单全局背景色特征，同时还学习背景与非背景像素的空间分布特征，以此构建阴影注意力图；结合卷积神经网络和堆叠的条件生成对抗网络生成去除阴影和折痕的化验单图像，提高图像视觉质量和可读性，并确保对具有不同特征的化验单图像具有较好的效果以及鲁棒性。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种纸质化验单图像预处理方法，包括：