[发明专利]一种手写体数学公式离线识别方法及系统

权利要求书

1.一种离线手写体数学公式识别方法，其特征在于，包括：

将手写体数学公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；

利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系；对于无法识别的字符，看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；

根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构。

2.根据权利要求1所述的一种离线手写体数学公式识别方法，其特征在于，将获得的字符部件序列中的字符部件两两进行组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合的步骤如下：

根据得到的字符部件序列W{W₀,W₁,...,W_n}中字符部件之间的位置关系，将字符部件两两组合为字符部件对p_m＝(W_i,W_j),0≤m≤n-1,0≤i,j≤n,i≠j；

提取字符部件对p_m＝(W_i,W_j)中两个字符部件W_i与W_j之间的几何关系特征，作为字符部件对p_m的特征；其中几何关系特征包括：两字符部件的包围盒中心距离、两字符部件图像质心距离、两字符部件的最短距离、包围盒水平重叠区域和/或竖直重叠区域；

根据字符部件对的几何关系特征，将字符部件对分为组合类与分离类，其中属于组合类的字符部件对中两字符部件属于同一字符，属于分离类的字符部件对中两部件不属于同一字符，使用监督学习的方法训练SVM分类器，完成对字符部件对的分类；

将相邻的且属于同一字符的字符部件组合，完成断裂字符的分割。

3.根据权利要求1所述的一种离线手写体数学公式识别方法，其特征在于，所述基于批量归一化和全局平均池化算法的卷积神经网络，使用1×1和3×3大小的卷积核，卷积神经网络包括：依次设置的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层、全局平均池化层以及softmax层；

其中，每个卷积层后都通过批量归一化算法进行归一化处理，全局平均池化层用于计算每个特征图的全局平均值；

所述通过批量归一化算法进行归一化处理包括：

首先，将数据归一化，运算操作如下：

x^(k)=x(k)-E[x(k)]Var[x(k)];]]>

其中，x^(k)为第k批数据，E[x^(k)]为第k批数据的均值，表示第k批数据的方差；

然后，通过学习恢复出相应卷积层学习到的特征分布：

y(k)=γ(k)x^(k)+β(k);]]>

其中，γ^(k)与β^(k)为对应于第k批数据的可学习变量。