[发明专利]一种网页信息提取系统及提取方法

权利要求书

1.一种网页信息提取系统，其特征在于，包括：

网页信息捕捉单元，用于在浏览器侧下载预设的网页，并捕捉所述网页的网址信息和网页编码信息；

网址过滤单元，连接所述网页信息捕捉单元，预设有多个标准网址信息，并用于根据预设的所述标准网址信息对所述网址信息进行匹配，以获得匹配于所述标准网址信息的有效网址信息；

网页信息提取单元，分别连接所述网页信息捕捉单元和所述网址过滤单元，用于提取对应所述有效网址信息的所述网页编码信息，并将所述网页编码信息分为多个信息块，查找到字节密度骤升的所述信息块和字节密度骤降的所述信息块；

所述网页信息提取单元将位于字节密度骤升的所述信息块和字节密度骤降的所述信息块之间的所述网页编码信息确定为网页信息，并输出所述网页信息；

所述网址过滤单元包括：

网址分割模块，用于接收所述网页信息捕捉单元捕获的网址信息，并将所述网址信息分割为域名信息、URL路径信息以及URL实体信息；

标准网址存储模块，保存有所述标准网址信息，所述标准网址信息包括标准域名信息和标准URL路径信息；

网址匹配模块，分别连接所述网址分割模块和所述标准网址存储模块，用于将所述域名信息与所述标准域名信息进行匹配，以及将所述URL路径信息与所述标准URL路径信息匹配，并将匹配成功的所述网址信息标记为有效网址信息；

所述网页信息提取单元中包括：

编码转换模块，用于根据所述网页编码信息的编码类型选择相应的解码方式，以将所述网页编码信息的编码类型转换成对应的UTF-8编码UTF-8编码类型；

编码存储模块，连接所述编码转换模块，用于保存经过转换的所述网页编码信息；

第一符号转换模块，连接所述编码存储模块，采用空白信息替代所述编码存储模块中保存的所述网页编码信息中的超文本标签；

信息密度计算模块，连接所述第一符号转换模块，用于将经过替代后的所述网页编码信息分割为多个行数相等的连续的信息块，并计算每个所述信息块的字节密度；

网页信息提取模块，连接所述信息密度计算模块，用于根据所述信息块的字节密度的变化趋势，提取位于字节密度骤升的所述信息块和字节密度骤降的所述信息块之间的所述网页编码信息，并将被提取的所述网页编码信息作为网页信息输出。

2.如权利要求1所述的网页信息提取系统，其特征在于，所述网页信息提取单元中还包括：

第二符号转换模块，连接于所述编码存储模块与所述第一符号转换模块之间，采用换行符替代所述网页编码信息中的分段符，并将经过替代后的所述网页编码信息发送至所述第一符号转换模块中。

3.如权利要求1所述的网页信息提取系统，其特征在于，所述信息密度计算模块还直接连接所述编码存储模块，用于直接提取保存于所述编码存储模块中的所述网页编码信息，并进行划分和信息密度计算；

所述网页信息提取模块中包括：

符号查询模块，根据位于字节密度骤降的所述信息块之前的最接近的区块分隔符，查找位于字节密度骤降的所述信息块之后的对应的区块分隔符；

所述网页信息提取模块将位于两个相应的所述区块分隔符之间的所述网页编码信息作为所述网页信息并输出。

4.一种网页信息提取方法，其特征在于，包括：

步骤1，预设多个标准网址信息；

步骤2，在浏览器侧下载一个预设的网页，并获取所述网页的网址信息和对应的网页编码信息；

步骤3，将匹配于所述标准网址信息的所述网址信息标记为有效网址信息；

步骤4，提取对应所述有效网址信息的所述网页编码信息，并将所述网页编码信息的编码类型转换为UTF-8编码类型，随后保存经过转换的所述网页编码信息；

步骤5，采用空白信息替代经过转换后的所述网页编码信息中的超文本标签；

步骤6，将所述网页编码信息划分为多个行数相等的连续的信息块，并计算每个所述信息块中的字节密度；

步骤7，提取位于字节密度骤升的所述信息块与字节密度骤降的所述信息块之间的所述网页编码信息，以作为对应所述网页编码信息的网页信息并输出。