[发明专利]一种文本提取方法及装置

权利要求书

1.一种文本提取方法，其特征在于，所述方法包括：

步骤一、预处理给定的网页的超文本传输协议html源码，以获取所述源码中的文本的字符串序列，所述字符串序列包含N个文本行；

步骤二、提取所述字符串序列中每个文本行的特征元素，所述特征元素包含M个属性；

步骤三、依据第一关联规则，确定所述字符串序列中的潜在正文行组成的潜在正文块，所示第一关联规则由所述特征元素中的所述M个属性确定；

步骤四、根据滑动窗口方法，对所述潜在正文块进行分割，获取次级潜在正文块；

所述步骤四之后，还包括：

获取每个所述次级潜在正文块包含的信息量；

根据所述次级潜在正文块的信息量，确定所述潜在正文块中的信息块；

其中，所述获取每个所述次级潜在正文块包含的信息量，具体包括：

$Score\left(B_k\right)=\frac{\underset{{\mathrm{Start}}_k\≤i\≤{\mathrm{End}}_k}{\Σ}Score\left(p_i\right)=\left|T_i\right|+\left|O_i\right|+\left|D_i\right|-\left|L_i\right|-\left|I_i\right|}{{\mathrm{End}}_k-{\mathrm{Start}}_k+1}$

其中，p_i为次级潜在正文块中的第i个文本行，T_i为第i个文本行在所述html源码中所包含的字节数TextLength，O_i为第i个文本行在所述网页中出现的字节数OutputTextLength,D_i为第i个文本行的相对密度Density，所述相对密度Density为所述文本行在所述网页中出现的字节数和在所述html源码中出现的字节数的比值，L_i为第i个文本行包含的超链接数LinkNum,I_i为该文本行包含的图片超链接数和ImgNum，B_k表示第k个次级潜在正文块，Start_k为该次级潜在正文块的起始位置，End_k为其结束位置,Score(B_k)表示正文块B_k包含的信息量。

2.如权利要求1所述的方法，其特征在于，在根据所述次级潜在正文块的信息量，确定所述潜在正文块中的信息块；之后，还包括：

对所述信息块进行合并，确定最终提取文本。