[发明专利]一种基于互联网的信息定向抓取方法及系统

权利要求书

1.一种基于互联网的信息定向抓取方法，其特征在于，所述方法包括如下步骤：

设置目标网站的抓取配置信息；

根据所述抓取配置信息，从目标网站内抓取文本数据；所述文本数据包括文档数据、word数据、excell数据和/或PDF数据；

对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据；

对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库；

将数据库内存储的原始文本数据进行逐条发布。

2.如权利要求1所述的基于互联网的信息定向抓取方法，其特征在于，所述对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据的步骤包括：

对原始文本数据中的图片信息进行编译转换，转换成主机服务器可识别的图片信息；

对原始文本数据中的文字信息进行编译转换，转换成主机服务器可识别的文字信息；以及

对原始文本数据中的音频信息进行编译转换，转换成主机服务器可识别的音频信息。

3.如权利要求1所述的基于互联网的信息定向抓取方法，其特征在于，所述对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据之后，还包括：

对保留的原始文本数据进行冗余判断，删除数据信息相同的文本数据。

4.如权利要求1所述的基于互联网的信息定向抓取方法，其特征在于，所述对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库之后，还包括：

对数据库内存储的原始文本数据进行分割，得到分割的原始文本数据集；并通过校验值哈希算法，针对当前原始文本数据集计算其哈希值，并在已备份原始文本数据集中查找是否有相同哈希值的目标原始文本数据集；若在已备份原始文本数据集中查找到有相同哈希值的目标原始文本数据集，则将所述目标原始文本数据集与当前原始文本数据集进行逐字节比较；根据比较结果进行当前原始文本数据集的备份。

5.如权利要求1所述的基于互联网的信息定向抓取方法，其特征在于，所述文本数据包括新闻数据和公告数据，其中，所述新闻数据为单一文本数据；所述公告数据则需经下一轮编译提取出逐条关键词。

6.一种基于互联网的信息定向抓取系统，其特征在于，包括：

设置模块，用于设置目标网站的抓取配置信息；

抓取模块，用于根据所述抓取配置信息，从目标网站内抓取文本数据；所述文本数据包括文档数据、word数据、excell数据和/或PDF数据；

整合筛选模块，用于对抓取的文本数据进行整合和筛选，剔除无用的第一文本数据，保留具有用途的第二文本数据，并将保留的第二文本数据作为原始文本数据；

编译转换模块，用于对原始文本数据进行编译转换，转换成主机服务器可识别的原始文本数据，并将编译转换后的原始文本数据存储至数据库；以及

发布模块，用于将数据库内存储的原始文本数据进行逐条发布。

7.如权利要求6所述的基于互联网的信息定向抓取系统，其特征在于，所述编译转换模块，包括：

图片信息编译转换单元，用于对原始文本数据中的图片信息进行编译转换，转换成主机服务器可识别的图片信息；

文字信息编译转换单元，用于对原始文本数据中的文字信息进行编译转换，转换成主机服务器可识别的文字信息；以及

音频信息编译转换单元，用于对原始文本数据中的音频信息进行编译转换，转换成主机服务器可识别的音频信息。

8.如权利要求6所述的基于互联网的信息定向抓取系统，其特征在于，还包括：冗余判断模块，用于对保留的原始文本数据进行冗余判断，删除数据信息相同的文本数据。