[发明专利]一种基于深度学习的金融行业图像中的文字区域检测定位的方法

权利要求书

1.一种基于深度学习的金融行业图像中的文字区域检测定位的方法，其特征在于，该方法包括如下步骤：

S1：选取金融行业常用的汉字、词组和组合词，生成不同字体类型的汉字图片，形成训练数据集；

S2：对训练数据集中的汉字图片进行随机的旋转、裁剪、模糊、反转、变换明暗度、和gamma变换中的任意一种或多种操作，再用泊松克隆的方式融合不同背景图，形成变换后的数据集；

S3：生成文本区域候选框，以缩放处理后的图像作为inception-RPN网络的输入，在VGG16模型的卷积特征响应图上滑动一个inception网络，并在每个滑动位置辅助一套文本特征先验框，计算每一个候选文本区域的得分；其中，所述的RPN网络是在CNN上增加全卷积层的分类层和边框回归层的全卷积网络，Inception Module中包含3种1x1,3x3,5x5的不同尺寸的卷积和一个最大3x3池化层，所述的Inception-RPN网络，是模仿Inception结构构造RPN网络，并只用了单层结构的Inception来提取候选文本区域。

S4：并入文本类别监督信息，融入多层次的区域下采样信息；

S5：将每一行的文本特征输入到LSTM网络模型中，对文本的高度、文本的起始位置和结束位置进行判断，以一种端到端的方式训练候选文本区域生成网络；

S6：对所述的候选文本区域位置进行修正，获得具有一定方向的倾斜文本候选文本区域；

S7：使用候选框过滤算法对候选文本区域进行过滤，移除远超出实际文本区域的多余的候选区域。

2.根据权利要求1的基于深度学习的金融行业图像中的文字区域检测定位的方法，其特征在于：所述的S3中所述的文本特征先验框共24种，其中每个滑动位置的滑动窗口宽度设为32、48、64和80，长宽比例为0.2、0.5、0.8、1.0、1.2和1.5；所述的inception网络由一个3*3的卷积层，5*5的卷积层和3*3的最大池化层连接到一个作为输入的VGG16模型的Conv5_3的特征响应图的相应的空间接受域上构建。

3.根据权利要求1的基于深度学习的金融行业图像中的文字区域检测定位的方法，其特征在于：S4的文本类别监督信息为：候选框IoU重叠大于等于0.5的指定为存在文本，把候选框IoU重叠大于等于0.2小于0.5的指定为模糊文本，其他指定为不包含文本信息。

4.根据权利要求1的基于深度学习的金融行业图像中的文字区域检测定位的方法，其特征在于：S4的区域下采样信息为：候选框IoU重叠大于等于0.5的指定为存在文本，把候选框IoU重叠大于等于0.2小于0.5的指定为模糊文本，其他指定为不包含文本信息。

5.根据权利要求1的基于深度学习的金融行业图像中的文字区域检测定位的方法，其特征在于：S6具体包括以下步骤：

S6.1：对候选文本区域进行大小归一化的旋转的池化操作，得到相同大小的特征图；

S6.2：特征图经过两次全连接层操作；

S6.3：根据所求特征对类别判断，并对文本区域进行位置的精确调整，获得具有一定方向的倾斜文本候选文本区域。