[发明专利]基于深度学习的扫描档案图像的自动化归档处理系统及方法

权利要求书

1.一种基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：包括如下步骤：

步骤一：数据预处理与模型训练

将待处理图片分成五类：图纸类、手写类、表格类、照片类以及其他类，同时对每类图片进行文档主体以及文本行的标记；然后将预处理得到的图片使用Object Detection以及Faster CNN模型进行训练，得到图片分类以及文档主体定位模型；

步骤二：主体识别

根据步骤一得到的文档主体定位模型，对输入图片进行文档主体的定位以及文本行的定位，同时将文档主体切分出来，得到文档的文本行部分；

步骤三：倾斜校正

对步骤二得到的文本行部分进行像素点的选取，使用直线拟合的方式拟合一条直线，得到文档整体的倾斜角度，根据此倾斜角度对步骤二切分出来的文档主体进行旋转纠偏，得到纠正后的文档图片；

步骤四：自动化阈值处理与图像重建

对步骤三得到的纠正后的文档图片进行自动化阈值处理以及图像重建，得到标准化输出的图片；

步骤五：表格图片数据的处理

将步骤四标准化输出的图片，挑选一部分表格档案图像，通过labelme对表格的line边缘进行标记；

步骤六：表格分割

将步骤五标记的数据输入Unet网络进行训练，得到表格分割模型，根据表格分割模型将输入图片进行表格的分割，得到单元格的图片；

步骤七：文本行分割

对步骤六分割的每个单元格使用CTPN模型进行文本行分割。

2.如权利要求1所述的基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：所述步骤三中自动化阈值处理是指根据图片的局部像素分布来建立图片的动态阈值，根据这个动态阈值对图片进行阈值分割处理，以保留图片的绝大多数细节，避免图片内容的丢失；所述步骤三中图像重建是将图片进行标准化输出，根据类别按照A4或A3的大小进行图片的输出。

3.如权利要求1所述的基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：步骤三中系统在阈值分割部分实现基于局部图像特性的动态阈值处理：令σ_xy和m_xy表示一幅图像中以坐标(x，y)为中心的邻域S_xy所包含的像素集合的标准差和均值，可变局部阈值的通用形式为：

T_xy＝aσ_xy+bm_xy

其中a和b是非负常数，分割后的图像计算如下:

其中f(x，y)是输入图像，该式对图像中的所有像素位置进行求值，并在每个点(x，y)处使用邻域S_xy中的像素计算不同的阈值T_xy。

4.如权利要求1所述的基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：步骤七中CTPN模型采用开源数据集进行训练，将训练的图片按照99:1划分成训练集和验证集，数据利用中文语料库，通过字体、大小、灰度、模糊、透视、拉伸变化随机生成包含汉字、英文字母、数字和标点共5990个字符，每个样本固定10个字符，字符随机截取自语料库中的句子，图片分辨率统一为280x32。

5.如权利要求1所述的基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：步骤五中挑选出1000张表格档案图像。

6.如权利要求1所述的基于深度学习的扫描档案图像的自动化归档处理方法，其特征在于：步骤六中输入Unet进行训练，迭代次数为80000次。