[发明专利]一种流程图像识别方法

权利要求书

1.一种流程图像识别方法，包括如下步骤：

S1建立一个基于角点的流程图结构模型，即CBSM，定义描述流程图结构元素的角点类型、角点组合规则以及角点组合约束；

S2提取流程图结构；

S3对流程图结构进行角点检测和筛选；

S4得到步骤S3中角点的邻域特征并训练角点分类器，对角点进行分类；

S5基于CBSM对流程图结构元素进行识别；

S6文本识别以及结构描述生成；

其特征在于，所述步骤S3中对流程图结构进行角点检测和筛选的步骤为：

S31采用曲率尺度空间算法利用曲率检测出与直线型元素相关的角点，过滤掉曲线型结构元素上的圆角点和虚假角点；

S32对采用曲率尺度空间算法检测得到的角点进行边界搜索并剪裁掉边界包围的区域，得到曲线型结构元素所在的区域，然后采用Harris角点检测算法对该区域进行再次检测，得到曲线型结构元素上的角点；

S33在检测过程中，曲线上容易产生角点聚簇现象，采用基于欧式距离的冗余角点筛选方法，计算所有点之间的欧式距离，当角点间的距离小于指定阈值时，删掉其中之一以减少冗余。

2.根据权利要求1所述流程图像识别方法，其特征在于，所述步骤S1中建立CBSM，定义描述流程图结构元素的角点类型、角点组合规则以及角点组合约束包括：

S11将描述流程图结构元素的角点分为独立型和连接型两大类，命名各角点类型并建立流程图像角点分类表；

S12建立角点组合规则；

S13建立角点组合约束。

3.根据权利要求2所述流程图像识别方法，其特征在于，所述步骤S11中，经典图元包括矩形、菱形和椭圆形，定义矩形为R图元，菱形为D图元，椭圆形为E图元，则描述经典图元的角点及其命名规则如下：

将仅属于单个图元或连接线的角点定义为独立型角点，其中对R图元的四个角点和折线的角点，分别命名为：

┌：R-1、┐：R-2、└：R-3、┘：R-4；

将位于图元与连接线或连接线与连接线相接处的角点定义为连接型角点，其中对R图元和连接线相接处以及连接线与连接线相接处的角点，分别命名为：

┴：Rb-1、┬：Rb-2、┤：Rb-3、├：Rb-4；

将E图元的独立型角点根据位置分别命名为：

El-1、Er-1、El-2、Er-2；

将组成E图元的连接型角点分别命名为：

┴：Rb-1、┬：Rb-2；

将D图元的独立型角点按照上下左右的顺序依次命名为D-1、D-2、D-3、D-4；

将D图元的连接型角点按照上下左右的顺序依次命名为Db-1、Db-2、Db-3、Db-4；

所述步骤S12中，根据图元几何关系和角点相对位置关系，定义组合规则如下：

角点相对位置关系：以C_i,C_j(i≠j)表示两个不同角点，x(C_i)表示角点C_i横坐标，y(C_i)表示角点C_i纵坐标，角点C_j相对于角点C_i的位置关系有8种，分别为左上、左、左下、下、右下、右、右上、上，依次分别表示为ul、l、dl、d、dr、r、ur、u，每种位置关系对应一个判定表达式；

以r(C_i,C_j)表示C_j在C_i的右方位置，满足x(C_i)x(C_j)；d(C_i,C_j)表示C_j在C_i下方位置，满足y(C_i)y(C_j)；dl(C_i,C_j)表示C_j在C_i的左下方位置，满足(x(C_i)x(C_j))∧(y(C_i)y(C_j))；其中，r(C_i,C_j)等价于l(C_j,C_i)，d(C_i,C_j)等价于u(C_j,C_i)，dr(C_i,C_j)等价于ul(C_j,C_i)，dl(C_i,C_j)等价于ur(C_j,C_i)，d(C_i,C_j)等价于u(C_j,C_i)，r(C_i,C_j)等价于l(C_j,C_i)；

在流程图结构元素中，角点间几何关系描述为水平关系H或者垂直关系V，H(C_i,C_j)表示C_i与C_j处于同一条水平线上，满足y(C_i)＝y(C_j)；V(C_i,C_j)表示C_i与C_j处于同一条垂直线上，满足x(C_i)＝y(C_j)；其中，H(C_i,C_j)等价于H(C_j,C_i)，V(C_i,C_j)等价于V(C_j,C_i)；

R图元的角点组合为R-1∧R-2∧R-3∧R-4；

R图元的角点相对位置关系表示如下：

r(R-1,R-2)∧d(R-1,R-3)∧dr(R-1,R-4)∧dl(R-2,R-3)∧d(R-2,R-4)∧r(R-3,R-4)；

R图元的角点间几何关系表示如下：

H(R-1,R-2)∧V(R-1,R-3)∧H(R-3,R-4)∧V(R-2,R-4)；

E图元的角点组合表示为El-1∧El-2∧Er-1∧Er-2；

E图元的角点之间相对位置表示如下：

r(El-1,Er-1)∧d(El-1,El-2)∧dr(El-1,Er-2)∧dl(Er-1,El-2)∧d(Er-1,Er-2)∧r(El-2,Er-2)；

E图元的角点间几何关系表示如下：

H(El-1,Er-1)∧V(El-1,El-2)∧H(El-2,Er-2)∧V(Er-1,Er-2)；

D图元的角点组合表示为D*-1∧D*-2∧D*-3∧D*-4，D*-表示D-型角点或Db-型角点，D-型角点为独立型角点，Db-型角点为连接型角点；

D图元的角点相对位置关系表示如下：

d(D*-1,D*-2)∧dl(D*-1,D*-3)∧dr(D*-1,D*-4)∧ul(D*-2,D*-3)∧ur(D*-2,D*-4)∧r(D*-3,D*-4)；

D图元的角点间几何关系表示如下：H(D*-3,D*-4)∧V(D*-1,D*-2)；

所述步骤S13中，定义描述流程图结构元素的角点组合所满足的约束，具体包括角点类型和数量约束、角点间的几何约束以及由角点组合所确定的图元的宽高约束，分别定义如下：

各图元的角点组合中角点类型和数量的约束如下：

角点组合中的角点间几何约束指的是两个角点在一定像素范围内呈水平关系H或者垂直关系V，分别定义为：H(C_i,C_j)::|y(C_i)–y(C_j)|d，V(C_i,C_j)::|x(C_i)–x(C_j)|d，d为修正在角点检测过程中出现的位置偏差所设置的松弛因子，经验取值为5px；

角点组合所构成图元的宽和高约束如下所述，若流程图像的整体宽和高分别为W，H，R_width表示R图元的宽，R_height表示R图元的高，则：

R图元：

E_width表示E图元的宽，E_height表示E图元的高，则：

E图元：

D_width表示D图元的宽，D_height表示D图元的高，则：

D图元：