[发明专利]多页同类文档碎片的分组方法

权利要求书

1.多页同类文档碎片的分组方法，其特征在于，包括以下步骤：

步骤1、提取文档的最左边碎片和最右边碎片，并确定碎片的分组数量；

步骤2、将文档的最左边碎片和最右边碎片进行分组对应；

步骤2、将文档的最左边碎片和最右边碎片进行分组对应的具体过程为：

将L中的文字块和R中的文字块划分为四种类型：第Ⅰ类：空白，第Ⅱ类：汉字，第Ⅲ类：含有句号，第Ⅳ类：含有逗号；设R中某一行的文字块的类型为i，L中该行下一行的文字块的类型为j，统计R中某一行的文字块与L中该行下一行的文字块之间的相关度P_ji；

计算任意一个最右边碎片R_i与其他L之间的相关度SC_ji：

其中，m表示每个碎片中含有的文字块的总数量，P_ji(k+1,k)表示R中第k的行文字块和L中第k+1的行文字块之间的相关度；

最大的SC_ji所对应的L，即为与R_i同组的L，按照公式(7)，逐一将所有R和L进行分组对应；

步骤3、将文档的中间部分碎片划分为密集碎片和非密集碎片；

步骤3、将文档的中间部分碎片划分为密集碎片和非密集碎片的具体过程为：

对L和R以外的碎片中的文字块进行空白块识别：

其中，Hei为文字块中黑色像素点的个数；

计算每个碎片中空白块的数量占文字块的总数量的比例α：

其中，m表示每个碎片中文字块的总数量，n表示每个碎片中空白块的数量；

根据α值的大小，将碎片划分为密集碎片和非密集碎片：

其中，TH是阈值，TH取值范围是0.1～0.2；

步骤4、对非密集碎片进行分组；

步骤4、对非密集碎片进行分组的具体步骤为：

步骤4.1、对文档靠左部分的非密集碎片进行分组；

步骤4.1、对文档靠左部分的非密集碎片进行分组的具体过程为：

将任意一个最左边碎片设为起始碎片K_L，进行以K_L为起点的右近邻匹配：

首先，计算K_L与待匹配的非密集碎片之间的匹配度集合S(k)：

S(k)＝{S_k,1,S_k,2,…,S_k,j,…,S_k,n,} (11)

式中，S_k,j表示K_L与第j个待测的非密集碎片之间的匹配度，1≤j≤n，n表示待匹配的非密集碎片的数量：

式中，m为每个碎片的文字行数，即每个碎片的文字块的总数量，C_i为两个碎片的第i行文字块之间的匹配度；

最大匹配度对应的非密集碎片即为与K_L右近邻的非密集碎片v：

v＝argmaxS(k) (13)

其次，匹配出与v右近邻的非密集碎片，进而，按照公式(11)、(12)、(13)逐一实现非密集碎片与其右近邻的碎片的匹配，当非密集碎片与一个密集碎片匹配上时，以K_L为起点的右近邻匹配的过程结束，该密集碎片即为文档靠左部分的右边界碎片，设为L_R；

逐一实现以其他最左边碎片为起点的右近邻匹配，完成文档靠左部分的非密集碎片的分组；

步骤4.2、对文档靠右部分的非密集碎片进行分组；

步骤4.2、对文档靠右部分的非密集碎片进行分组的具体过程为：

将任意一个最右边碎片设为起始碎片K_R，在步骤4.1分组后剩下的非密集碎片中，找出所有非空白块的位置与K_R完全相同的非密集碎片，即为与K_R同组的非密集碎片；将K_R转化为一个空白块与非空白块的集合K_R'，将每个与K_R同组的非密集碎片分别转化为一个空白块与非空白块的集合，将与K_R'同组的空白块与非空白块的集合逐个和K_R'进行异或运算：

W_i表示任意一个与K_R'同组的空白块与非空白块的集合，Yh是异或运算的结果，最大的Yh值对应的碎片即为文档靠右部分的左边界碎片，设为R_L：

R_L＝argmax(Yh) (15)

按照公式(14)、(15)，逐一找出与其他最右边碎片同组的非密集碎片，实现文档靠右部分的非密集碎片的分组；

步骤5、对密集碎片进行分组；

步骤5、对密集碎片进行分组的具体过程为：

将文档中的一对边界碎片，即靠左部分的右边界碎片L_R和靠右部分的左边界碎片R_L，设为(L_R,R_L)，文档中所有的(L_R,R_L)构成集合I：

I＝{(L_R1,R_L1),(L_R2,R_L2),...,(L_Ri,R_Li),...,(L_RN,R_LN)} (16)

其中，(L_Ri,R_Li)表示第i对(L_R,R_L)，N表示碎片的分组数量；

寻找并记录每对(L_R,R_L)中位置相同的空白块的具体位置和数量，将每对(L_R,R_L)按照空白块的数量进行排序，将包含空白块数量最多的(L_R,R_L)设为(L_Rj,R_Lj)，从(L_Rj,R_Lj)开始分组，搜索与(L_Rj,R_Lj)具有相同位置及数量的空白块的密集碎片，即为与(L_Rj,R_Lj)同组的密集碎片，逐一实现密集碎片的分组。

2.根据权利要求1所述的多页同类文档碎片的分组方法，其特征在于，步骤1、提取文档的最左边碎片和最右边碎片，并确定碎片的分组数量的具体过程为：

将碎片按行间距水平分割成若干个文字块，将若干个文字块划分为5种抽象类型：x₁类：空白，x₂类：字符分布在左右两边，x₃类：字符位于中间，x₄类：字符位于右边，x₅类：字符位于左边，设5种抽象类型的集合为C，C＝{x₁,x₂,x₃,x₄,x₅,}；

用贝叶斯分类器将每个文字块转化为5种抽象类型之一：

将文字块设为y，y＝{α₁,α₂,…,α_n,}，其中，α_n表示文字块中第n个灰度特征，根据贝叶斯定理，如公式(1)所示，分别计算文字块为x₁类的概率P(x₁/y)、文字块为x₂类的概率P(x₂/y)、文字块为x₃类的概率P(x₃/y)、文字块为x₄类的概率P(x₄/y)、文字块为x₅类的概率P(x₅/y)，由max{P(x₁/y),P(x₂/y),…,P(x₅/y)}判断出文字块y的抽象类型，将每个碎片分别转换成文字块的抽象类型的集合；

其中，P(x_i/y)表示文字块为x_i类的概率，x_i∈C，P(y)表示文字块出现的概率，P(y/x_i)表示不同抽象类型下文字块出现的条件概率，P(x_i)表示不同抽象类型出现的概率，P(y/x_i)·P(x_i)的计算如下：

其中，α_n表示文字块中第n个灰度特征，P(α_j/x_i)表示x_i类下文字块的第j个灰度特征出现的条件概率；

计算每个碎片中x₁类文字块和x₄类文字块的数量之和占文字块的总数量的比例Q₁₄：

计算每个碎片中x₁类文字块和x₅类文字块的数量之和占文字块的总数量的比例Q₁₅：

式中，Num表示每个碎片中文字块的总数量，Num₁表示x₁类文字块的数量，Num₄表示x₄类文字块的数量，Num₅表示x₅类文字块的数量；

将文档最左边的碎片设为L，判断一个碎片是否为L：

将文档最右边的碎片设为R，判断一个碎片是否为R：

其中，Q_th是阈值，Q_th取值范围是0.8～0.9；

统计文档中L的数量N_L以及R的数量N_R，碎片的分组数量为N，N＝N_L＝N_R。