[发明专利]情报信息的搜集方法、装置、计算机设备和存储介质

说明书

本申请涉及一种情报信息的搜集方法、装置、计算机设备和存储介质。所述方法包括：获取种子资源定位符；根据已搜集资源定位符列表筛选该种子资源定位符；将筛选后的种子资源定位符加入情报信息搜集列表中；按照该情报信息搜集列表中种子资源定位符的排列顺序依次选取种子资源定位符；根据选取的种子资源定位符，使用爬虫引擎获取相应的页面信息；根据该页面信息选取预设转码方案；根据该预设转码方案将该页面信息转码，得到通用格式的情报信息。采用本方法能够在保证将页面信息转码成功的前提下，减少了将页面信息转码花费的时间，提高了搜集情报信息的工作效率。

技术领域

本申请涉及网络爬虫技术领域，特别是涉及一种情报信息的搜集方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，越来越多的信息在互联网上发布和传播。相较于传统的信息发布和传播，互联网有着发布的信息量大、传播速度快和易保存等特点，因此在互联网上发布和传播的信息越来越多。这也导致了在互联网变成了获取情报信息的一种重要渠道，传统技术中通常是通过爬虫引擎获取发布在互联网上的情报信息。

然而，随着互联网上发布的信息越来越多，建设的网站也越来越多，不同网站的网页信息采取的编码格式也不尽相同。虽然传统技术中通过同时运行多个爬虫引擎，以实现快速地获取情报信息，但是面对种类繁多的编码格式，在无法针对性地配置转码方案的情况下，也无法准确地获取情报信息，使得搜集情报信息的工作效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高搜集情报信息的工作效率的情报信息的搜集方法、装置、计算机设备和存储介质。

一种情报信息的搜集方法，该方法包括：

获取种子资源定位符；

根据已搜集资源定位符列表筛选该种子资源定位符；

将筛选后的种子资源定位符加入情报信息搜集列表中；

按照该情报信息搜集列表中种子资源定位符的排列顺序依次选取种子资源定位符；

根据选取的种子资源定位符，使用爬虫引擎获取相应的页面信息；

根据该页面信息选取预设转码方案；

根据该预设转码方案将该页面信息转码，得到通用格式的情报信息。

在一个实施例中，该根据该页面信息选取预设转码方案，包括：

从该页面信息中读取元信息；

根据该元信息获取该页面信息的编码格式；

根据该页面信息的编码格式选取预设转码方案；

该根据预设转码方案将该页面信息转码，得到通用格式的情报信息，包括：

当检测到该页面信息的编码格式没有相应的预设转码方案时，则

根据该预设转码方案中的通用转码方案将该页面信息转码，得到通用格式的情报信息。

在一个实施例中，该方法还包括：

当接收到导出该通用格式的情报信息的指令时，则

根据该指令所指定的格式选取相应的转码方案；

按照选取的转码方案将该通用格式的情报信息转换成该指定的格式的情报信息文档。

在一个实施例中，该按照该情报信息搜集列表中种子资源定位符的排列顺序依次选取种子资源定位符之后，该方法还包括：

根据选取的种子资源定位符计算出相应的校验码；

当检测到该校验码的数值不在当前的爬虫引擎被分配的区间内时，则