[发明专利]一种基于连接文字段的自然图片中多方向文本检测方法

权利要求书

1.一种基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述方法包括下述步骤：

(1)训练文字段连接检测网络模型，包括如下子步骤：

(1.1)以词条级别标记训练图像集中所有文本图像的文本内容，标签为词条的矩形初始包围盒的四个点坐标，得到训练数据集；

(1.2)定义用于根据词条标签可以预测输出文字段和连接的文字段连接检测网络模型，所述文字段连接检测网络模型由级联卷积神经网络和卷积预测器组成，根据上述训练数据集计算得到文字段和连接的标签，设计损失函数，结合在线扩增和在线负样本难例挖掘方法，利用反向传导方法训练该文字段连接检测网络，得到文字段连接检测网络模型；

(2)利用训练好的上述文字段连接检测网络模型对待检测文本图像进行文字段和连接检测，包括如下子步骤：

(2.1)对待检测文本图像进行文字段检测，由不同卷积层输出的特征图预测出不同尺度的文字段，由同一卷积层输出的特征图预测出相同尺度的文字段；

(2.2)对待检测文本图像检测出的所有特征层上的文字段进行连接检测，所述连接包括层内连接和跨层连接；

(2.3)将检测得到的文字段的置信度得分和连接置信度得分组合，其中文字段置信度得分包括文字段正负类别得分和偏移量得分，利用卷积预测器输出softmax标准化得分；

(3)组合文字段和连接，得到输出包围盒，包括如下子步骤：

(3.1)根据(2.3)中检测得到的标准化得分，过滤卷积预测器输出的文字段和连接，以过滤后的文字段作为节点，以连接作为边，构建连接图；

(3.2)在图上执行深度优先搜索以找到相互连接的组件，每个组件记作集合S，包含由连接相连起来的文字段；

(3.3)将一个集合中的文字段组合成一个完整的词条，计算完整的词条包围盒并输出。

2.根据权利要求1所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(1.2)具体为：

(1.2.1)构建文字段检测卷积神经网络模型：提取特征的前几层卷积单元来自预训练的VGG-16网络，前几层卷积单元为卷积层1到池化层5，全连接层6和全连接层7分别转换为卷积层6和卷积层7，连接在其后的是一些额外加入的卷积层，用于提取更深度的特征进行检测，包括卷积层8、卷积层9、卷积层10，最后一层是卷积层11；后6个不同的卷积层分别输出不同尺寸的特征图，便于提取出多种尺度的高质量特征，检测文字段和连接是在这六个不同尺寸的特征图上进行的；对于这6个卷积层，每一层之后都添加尺寸为3×3的滤波器作为卷积预测器，来共同检测文字段和连接；

(1.2.2)从标注的词包围盒产生文字段包围盒标签：对于原始训练图像集Itr，记缩放后的训练图像集为Itr'，w_I、h_I分别为Itr'的宽度和高度，以第i张图片Itr_i'作为模型输入，Itr_i'上标注的所有词包围盒记作W_i＝[W_i1,...,W_ip]，其中W_ij为第i张图片上的第j个词包围盒，词包围盒是单词级别或者词条级别，j＝1,...,p，p为Itr_i'上词包围盒的总数量；记后6层卷积层分别输出的特征图构成集合Itro_i'＝[Itro_i1',...,Itro_i6']，其中Itro_il'为后6层卷积层中第l层输出的特征图，w_l、h_l分别为该特征图的宽度和高度，Itro_il'上的坐标(x,y)对应Itr_i'上以(x_a,y_a)为中心点坐标的水平初始包围盒B_ilq，它们满足下列公式：

初始包围盒B_ilq的宽和高都被设置成一个常数a_l，用于控制输出文字段的比例，l＝1,...,6；记第l层输出的特征图Itro_il'对应的初始包围盒集合为B_il＝[B_il1,...,B_ilm]，q＝1,...,m，其中m为第l层输出的特征图上初始包围盒的数目；只要初始包围盒B_ilq的中心被包含在Itr'上任一标注的词包围盒W_ij内部，且B_ilq的尺寸a_l和该标注的词包围盒W_ij的高度h满足：那么这个初始包围盒B_ilq被标记为正类，标签取值为1，并与高度最为接近的那个词包围盒W_ij匹配；否则，当B_ilq与所有词包围盒W_i都不满足以上两个条件时，B_ilq就被标记为负类，标签取值为0；文字段在初始包围盒上产生，与初始包围盒标签类别相同；

(1.2.3)在所述步骤(1.2.2)产生的带标签的初始包围盒上产生文字段并计算正类文字段偏移量：负类文字段包围盒s^-为负类初始包围盒B^-；正类文字段包围盒s⁺由正类初始包围盒B⁺经过以下步骤得到：a)记正类初始包围盒B⁺匹配到的标注词包围盒W与水平方向夹角为θ_s，以B⁺的中心点为中心，将W顺时针旋转θ_s角；b)裁剪W，去除超出B⁺左边和右边的部分；c)以B⁺的中心点为中心，将裁剪后的词包围盒W'逆时针旋转θ_s角，得到文字段s⁺真实标签的几何参数x_s、y_s、w_s、h_s、θ_s；d)计算得到文s⁺相对于B⁺的偏移量(Δx_s,Δy_s,Δw_s,Δh_s,Δθ_s)，计算公式如下：

x_s＝a_lΔx_s+x_a

y_s＝a_lΔy_s+y_a

w_s＝a_lexp(Δw_s)

h_s＝a_lexp(Δh_s)

θ_s＝Δθ_s

其中，x_s、y_s、w_s、h_s、θ_s分别为文字段包围盒s⁺的中心点横坐标、中心点纵坐标、宽度、高度以及与水平方向之间的夹角；x_a、y_a、w_a、h_a分别为水平初始包围盒B⁺的中心点横坐标、中心点纵坐标、宽度、高度；Δx_s、Δy_s、Δw_s、Δh_s、Δθ_s分别为文字段包围盒s⁺中心点横坐标x_s相对初始包围盒B⁺的偏移量、纵坐标y_s相对初始包围盒的偏移量、宽度w_s的偏移变化量、高度h_s的偏移变化量、角度θ_s的偏移量；

(1.2.4)对于步骤(1.2.3)产生的文字段包围盒计算连接标签：文字段s是在初始包围盒B上产生的，因此s之间的连接标签和它们对应的初始包围盒B之间的连接标签相同；对于特征图集合Itro_i'＝[Itro_i1',...,Itro_i6']，如果在同一张特征图Itro_il'的初始包围盒集合B_il里，两个初始包围盒的标签都是正类，且匹配到同一个词，那么之间的层内连接被标记为正类，否则标记为负类；如果在特征图Itro_il'对应的初始包围盒集合B_il里的初始包围盒和Itro_i(l-1)'对应的的初始包围盒集合B_i(l-1)里的初始包围盒的标签都是正类且匹配到同一个词包围盒W_ij，那么之间的跨层连接被标记为正类，否则标记为负类；

(1.2.5)以缩放后的训练图像集Itr'作为文字段检测模型输入，预测文字段s输出：对模型初始化权重和偏置，前6万次训练迭代步骤学习率设置为10^-3，之后学习率衰减到10^-4；对于后6层卷积层，在第l层特征图Itro_il'上的坐标(x,y)处，(x,y)对应到输入图像Itr_i'上以(x_a,y_a)为中心点坐标、以a_l为尺寸的初始包围盒B_ilq，3×3的卷积预测器都会预测出B_ilq被分别划分成正、负类的得分c_s，c_s为二维向量，取值范围为0-1之间的小数；同时也预测出5个数字作为被划分到正类文字段s⁺时的几何偏移量，其中分别为预测的文字段包围盒s⁺中心点横坐标相对正类初始包围盒B⁺的偏移量、纵坐标的相对正类初始包围盒B⁺的偏移量、高度的偏移变化量、宽度的偏移变化量、角度偏移量；

(1.2.6)在已预测的文字段基础上预测层内连接和跨层连接输出：对于层内连接，在同一张特征图Itro_il'上坐标点(x,y)处，取x-1≤x'≤x+1、y-1≤y'≤y+1范围内近邻的点(x',y')，这8个点对应到输入图像Itr_i'时，便获得了与(x,y)对应的基准文字段s^(x,y,l)相连接的层内近邻文字段s^(x',y',l)，8个层内近邻文字段可表示为集合：

3×3卷积预测器会预测出s^(x,y,l)与层内近邻集合的连接的正、负得分c_l1，c_l1为16维向量，其中，w为上标，表示层内连接；

对于跨层连接，一个跨层连接将两个连续卷积层输出的特征图上两个点处对应的文字段相连；由于每经过一层卷积层，特征图的的宽度和高度都会缩小一半，第l层输出特征图Itro_il'的宽度w_l和高度h_l是第l-1层特征图Itro_i(l-1)'的宽度w_l-1和高度h_l-1的一半，而Itro_il'对应的初始包围盒尺度a_l是Itro_i(l-1)'对应的初始包围盒尺度a_l-1的2倍，对于在第l层输出特征图Itro_il'上的(x,y)，在特征图Itro_i(l-1)'上取2x≤x'≤2x+1、2y≤y'≤2y+1范围内的4个跨层近邻点(x',y')，Itro_il'上(x,y)对应到输入图像Itr_i'上的初始包围盒刚好与Itro_i(l-1)'上4个跨层近邻点对应到输入图像Itr_i'上的4个初始包围盒空间位置重合，4个跨层近邻文字段s^(x',y',l-1)可表示为集合：

3×3卷积预测器会预测出第l层基准文字段s^(x,y,l)与第l-1层上近邻文字段集合之间跨层连接的正、负得分c_l2，c_l2为8维向量：

其中，表示预测器预测出s^(x,y,l)与其所有4个近邻文字段之间的连接的正、负得分，c为上标，表示跨层连接；

所有的层内连接和所有的跨层连接构成连接集合N_s；

(1.2.7)以步骤(1.2.3)和步骤(1.2.4)获得的文字段标签、正类文字段真实偏移量、连接标签作为输出基准，以步骤(1.2.5)预测的文字段类别及得分、预测的文字段偏移量、步骤(1.2.6)预测的连接得分为预测输出，设计预测输出与输出基准之间的目标损失函数，对文字段连接检测模型利用反向传导法进行不断地训练，来最小化文字段分类、文字段偏移回归和连接分类的损失，针对所述文字段连接检测模型设计目标损失函数，目标损失函数是三个损失的加权和：

其中y_s是所有文字段的标签，c_s是预测的文字段得分，y_l是预测的连接标签，c_l是预测的连接得分，由层内连接得分c_l1和跨层得分c_l2组成；如果第i个初始包围盒标记为正类，那么y_s(i)＝1，否则为0；L_conf(y_s,c_s)是预测的文字段得分c_s的softmax损失，L_conf(y_s,c_l)是预测的连接得分c_l的softmax损失，是预测的文字段几何参数s和真实标签之间的平滑L₁回归损失；n_s是正类初始包围盒的数量，用来对文字段分类和回归损失进行归一化；n_l是正类连接总数，用来对连接分类损失进行归一化；λ₁和λ₂为权重常数；

(1.2.8)在步骤(1.2.7)的训练过程中，采用在线扩增方法对训练数据I_tr进行在线扩增，并采用在线负样本难例挖掘策略来平衡正样本和负样本，在训练图片I_tr被缩放到相同的尺寸并批量加载之前，它们被随机地裁剪成一个个图像块，每个图像块与文字段的真实包围盒的jaccard重叠系数o最小；对于多方向文字，数据扩增是在多方向文字包围盒的最小包围矩形上进行的，每个样本的重叠系数o从0、0.1、0.3、0.5、0.7和0.9中随机选择，图像块的大小为原始图片尺寸的0.1-1倍之间；训练图像不水平翻转；另外，文字段和连接负样本占据训练样本的大部分，采用在线负样本难例挖掘策略来平衡正样本和负样本，对文字段和连接分开进行挖掘，控制负样本与正样本之间的比例不超过3:1。