[发明专利]一种网页数据分布式模板采集方法及系统

权利要求书

1.一种网页数据分布式模板采集方法，其特征在于，包括：

针对不同类型的网页配置不同的数据采集模板，并将所述数据采集模板按所述网页的类型分别导入不同的数据表中进行存储；

根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，并将获取到的数据采集模板放入模板池中；

将所述模板池中的数据采集模板分发到至少两个采集客户端，所述采集客户端分别根据所述数据采集模板对所述网页进行数据抽取，分别得到网页的网页数据；

针对每个采集客户端得到的网页数据进行整合，得到完善的网页数据；

其中，所述根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，并将获取到的数据采集模板放入模板池中，具体包括：

S21、采集服务器调用所述服务接口，根据被采集的网页类型从所述数据表中获取相应的数据采集模板；

S22、所述采集服务器将获取到的数据采集模板放入模板池中，并实时监控模板池中的所

述数据采集模板的数量；

S23、当所述模板池中的所述数据采集模板的数量小于预设值时，执行S21；当所述模板池中的所述数据采集模板的数量大于或等于预设值时，将所述模板池中的数据采集模板分发到至少两个采集客户端。

2.根据权利要求1所述的网页数据分布式模板采集方法，其特征在于，所述数据采集模板包括：站点层模板、频道层模板和正文层模板；

所述站点层模板包括：站点名、站点地址、编码格式、国家、语言和频道列表；

所述频道层模板包括：频道名、频道地址、编码格式、分类属性、是否需要代理访问和页面标识；

所述正文层模板包括：标题解析、正文解析、发布时间解析、作者解析、来源解析和图片解析。

3.根据权利要求2所述的网页数据分布式模板采集方法，其特征在于，针对不同类型的网页配置不同的数据采集模板，并将所述数据采集模板按所述网页的类型分别导入不同的数据表中进行存储，具体包括：

S11、根据网页的类型配置站点层模板，得到站点模板，判断所述网页是否存在频道地址；是则，执行S12，否则，所述站点模板为所述网页的所述数据采集模板，执行S14；

S12、基于所述站点模板配置频道层模板，得到频道模板，判断所述网页的频道地址是否存在正文，是则，执行S13，否则，所述频道模板为所述数据采集模板，执行S14；

S13、基于所述频道模板配置正文层模板，得到所述数据采集模板；

S14、根据数据采集模板的不同按所述网页的类型分别导入不同的数据表中进行存储，并设置与所述数据表相对应的服务接口。

4.根据权利要求1所述的网页数据分布式模板采集方法，其特征在于，所述将所述模板池中的数据采集模板分发到至少两个采集客户端，具体包括：

当采集客户端调用所述服务接口时，所述采集服务器将所述模板池中的数据采集模板分发到所述采集客户端，并将所述数据采集模板分发到至少一个其他的所述采集客户端。

5.根据权利要求4所述的网页数据分布式模板采集方法，其特征在于，所述采集客户端分别根据所述数据采集模板对所述网页进行数据抽取，得到所述网页的网页数据，具体包括：

所述采集客户端根据所述数据采集模板提取所述网页的站点地址，并根据所述站点地址进行网页下载；

通过所述数据采集模板，基于XPATH技术对所述网页进行数据抽取，得到所述网页的网页数据。

6.根据权利要求1-5中任一所述的网页数据分布式模板采集方法，其特征在于，所述根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，具体包括：

获取与所述网页的类型相对应的数据表中的全部所述数据采集模板。

7.根据权利要求1-5中任一所述的网页数据分布式模板采集方法，其特征在于，所述根据被采集的网页的类型从所述数据表中获取相应的数据采集模板，具体包括：

获取与所述网页的类型相对应的数据表，根据预设模板ID从所述数据表中获取与所述模板ID相应的数据采集模板。