[发明专利]一种面向网页采集任务的插件管理方法及其装置

说明书

本发明公开了一种面向网页采集任务的插件管理方法及其装置，该方法包括以下步骤：在一网页内选中任意的网页内容，根据所述网页内容生成与所述网页内容对应的抽取规则，同时，根据所述抽取规则生成与所述抽取规则对应的插件；对所述插件进行测试，当所述插件通过测试后，加载所述插件完成网页内容的采集操作，同时，管理所述插件的使用权限，并对所述插件采取相应的维护操作。实施本发明，通过结合Java脚本语言优势，以及现有的版本控制服务器，提高插件的开发效率，实现插件的自动化管理，从而大大降低插件开发和插件维护的成本。同时，在插件开发时，无需重启程序即可以支持插件的动态重复加载，在插件管理时，管理操作更为安全、便捷。

技术领域

本发明涉及计算机互联网领域，尤其涉及一种面向网页采集任务的插件管理方法及其装置。

背景技术

在现有技术中，定向采集系统是网络蜘蛛的一种，它是网络数据获取系统的核心部分。它通过对互联网上已知信息（即网络链接，URL：Universal Resource Locator)的不断抓取海量网页内容，获取其中所有主题相关内容。

目前，常见的网页采集方法有两种：

一种是设置起始的URL，采集系统就自动地按照网站结构的层次来设置URL的优先级，并按照这个级别进行网页的抓取。另外一种偏向于个性化采集，需要根据配置的抽取规则，来提取和主题相关的内容。

对于第二种，网页定制化采集需要维护大量的抽取规则。简单的网页，可以通过通用的抽取规则进行匹配，如正则表达式等，但是对于复杂网页，则需要额外的规则逻辑来处理，而这部分需进行代码开发。开发的代码以插件的形式存在，通过编译、打包等，动态更新到线上的采集系统中去。

Java是一种最常见的爬虫插件开发语言，但是Java虚拟机不支持运行时类的动态重复加载机制，所以在基于Java语言开发的插件维护时需要编译、打包、重启Java虚拟机等操作，工作繁琐，出错几率高。

另外，插件的版本控制也比较繁琐，需要记录每个插件的版本号，在插件维护过程容易出错。

从上面的问题我们可以看出，现有的插件开发体系已经不能满足日益发展的互联网采集技术的需求，需要寻找一种高效、便捷的插件开发以及插件管理模式。

发明内容

针对现有技术中，基于Java语言开发插件时，维护工作需要进行编译、打包、重启Java虚拟机等操作，工作繁琐，出错几率高，同时，插件的版本控制也比较繁琐，需要记录每个插件的版本号，在插件维护过程容易出错的缺陷，本发明提出了一种面向网页采集任务的插件管理方法及其装置。

本发明解决现有技术问题所采用的技术方案是构造一种面向网页采集任务的插件管理方法，该方法包括以下步骤：

S1，在一网页内选中任意的网页内容，根据所述网页内容生成与所述网页内容对应的抽取规则，同时，根据所述抽取规则生成与所述抽取规则对应的插件；

S2，对所述插件进行测试，当所述插件通过测试后，加载所述插件完成网页内容的采集操作，同时，管理所述插件的使用权限，并对所述插件采取相应的维护操作。

所述步骤S1具体包括以下子步骤：

S11，输入网络链接地址，下载与所述网络链接地址对应的网页界面；

S12，将所述网页界面解析为相应的文档对象结构；

S13，分析所述文档对象结构，并根据所述选中的网页内容生成对应的Java脚本抽取规则；

S14，根据所述Java脚本抽取规则生成Java脚本插件，并选择Java脚本插件的配置模式，所述配置模式包括，选择上传所述Java脚本插件、在所述网页界面内录入所述抽取规则、在所述网页界面内编写所述Java脚本插件；