[发明专利]面向法院判决文书的多尺度学习的文字识别方法及系统

权利要求书

1.一种面向法院判决文书的多尺度学习的文字识别方法，其特征在于，包括：

获取待识别的法院判决文书图像，提取印章区域；

以目标RGB值差异最大为目标函数，以循环一致性损失为约束条件，基于对抗网络构建印章生成网络模型，采用训练后的印章生成网络模型对印章区域进行印章痕迹RGB值的转换，并删除转换后的印章区域的印章痕迹；

对删除印章痕迹的法院判决文书图像进行特征提取，对得到的特征图分别进行全局目标检测和局部细节检测，将得到的文本候选框的掩码和渐进式掩膜合并后对构建的文本检测模型进行训练，以训练后的文本检测模型得到文字识别结果；

所述印章生成网络模型的损失函数为：

L(G_A2B，G_B2A，F_B，F_A)＝L_CGAN(G_A2B，F_B，A，B)+L_CGAN(G_B2A，F_A，B，A)+γL_cyc(G_A2B，G_B2A)，

其中，G_A2B和G_B2A为生成器，F_A和F_B为鉴别器，A和B为图像集合，L_CGAN为RGB空间损失约束，L_cyc为循环一致性损失约束；

所述对删除印章痕迹的法院判决文书图像进行特征提取，标注目标框标签和分割标签GroundTruth，目标框标签的标注方法采用传统标注方法；局部细节检测模块需要给一张图像同时标注不同尺度的GroundTruth，具体方式如下：

获取N张不带有印章的法院判决文书图像，对每张图像标记文本框和GroundTruth，对每张图像，设置N个不同尺度的GroundTruth，G_n为最大尺度的GroundTruth，Vatticlipping将G_n裁剪n-1次，每次缩小d_i个像素得到G_i；

其中，d_i表示要缩小的像素值，Area(G_i)表示多边形的面积，Perimeter(G_i)表示多边形的周长，r_i表示缩小的比例；

其中，m表示最小的缩放比例，是一个超参数，取值范围为(0，1]。

2.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，对法院判决文书图像进行分割，采用深度模型对每个像素块进行判断，获得包含印章痕迹的像素块，将其拼接后得到印章区域。

3.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述特征提取采用特征金字塔网络进行特征提取，得到不同通道数的特征图，所述特征金字塔网络包括自底向上路径、自顶向下路径和跳跃连接，所述自底向上路径采用ResNet50网络，自底向上路径的输出作为自顶向下路径的输入，自顶向下路径的输出上采样至自底向上路径，并进行跳跃连接。

4.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述全局目标检测包括：获取特征图的特征向量，将特征向量进行通道变化后输入双向LSTM网络中，将双向LSTM网络的输出进行通道变化后，依次经过全连接层和RPN层得到文本候选框。

5.如权利要求1所述的面向法院判决文书的多尺度学习的文字识别方法，其特征在于，所述局部细节检测包括：标记不同尺度的分割标签，将特征图的大小进行归一化处理，依次进行通道合并和卷积处理后，得到不同尺度的渐进式掩膜，每一个渐进式掩膜中，对于同一处文本区域的预测尺度大小不相同。