[发明专利]一种基于网络资源的可视化采集系统及采集方法

权利要求书

1.一种基于网络资源的可视化采集系统，其特征在于，包括：

配置模块，包括配置程序，所述配置程序用于调用浏览器，所述浏览器用于对待配置页面进行渲染呈现，便于点选所述待配置页面的节点，生成页面数据提取和处理规则；

采集模块，包括采集程序，所述采集程序根据所述页面数据提取和处理规则对待采集页面进行访问、数据提取；

分类标引模块，包括分类单元，所述分类单元用于根据所述待采集页面的内容特征，建立所述待采集页面的知识分类体系，所述分类单元根据所述知识分类体系对已采集数据进行分类，并根据所述已采集数据中的正文标引关键词；以及

数据存储模块，包括存储数据库，所述存储数据库用于存储所述已采集数据。

2.根据权利要求1所述的基于网络资源的可视化采集系统，其特征在于，根据所述待采集页面的内容特征选择待采集数据的资源类别，确定所述待采集页面的元数据字段模板，并配置所述元数据字段模板内的每个元数据字段的所述页面数据提取和处理规则。

3.根据权利要求1所述的基于网络资源的可视化采集系统，其特征在于，所述存储数据库采用键值对的存储模式对所述已采集数据进行自定义存储。

4.根据权利要求1所述的基于网络资源的可视化采集系统，其特征在于，所述分类标引模块还包括排重单元，所述排重单元根据自定义的来源网站优先级列表，对所述已采集数据进行相似度排重，以保留优先级高的所述来源网站的所述已采集数据。

5.根据权利要求2所述的基于网络资源的可视化采集系统，其特征在于，所述配置程序包括辅助配置脚本，当点选所述待配置页面的节点时，所述辅助配置脚本生成可视化编辑框，以采集或标引所述元数据字段的信息。

6.根据权利要求1所述的基于网络资源的可视化采集系统，其特征在于，所述配置模块还包括：数据处理单元，根据所述页面数据提取和处理规则对所述待采集数据的前、后方无效字符进行截断，以及特定字符的替换，以获取所述待采集数据。

7.一种采集方法，其特征在于，所述采集方法应用于权利要求1-6任一项所述的基于网络资源的可视化采集系统，包括：

设置任务信息，在所述配置模块中输入所述任务的描述信息；

设置待采集数据的配置信息，包括所述待采集数据的列表页信息和详情页信息；

根据所述页面数据提取和处理规则，运行所述采集程序，验证和完善所述待采集数据的配置信息；

运行采集程序，所述采集程序根据所述页面数据提取和处理规则对所述待采集页面进行访问、提取并标引数据。

8.根据权利要求7所述的采集方法，其特征在于，所述设置任务信息包括：设置任务名称、任务类别和任务描述。

9.根据权利要求7所述的采集方法，其特征在于，配置所述列表页信息包括：在所述列表页中任意点选两条列表信息，以生成所述列表页的配置信息。

10.根据权利要求7所述的采集方法，其特征在于，配置所述详情页信息包括：选择所述待采集数据的资源类别，配置每个元数据字段的所述页面数据提取和处理规则。