[发明专利]一种专业情报信息采集方法、装置、设备及存储介质

权利要求书

1.一种专业情报信息采集方法，其特征在于，包括如下步骤：

S01：读取任务计划，所述任务计划用于任务的批量管理；

S02：按照所述任务计划进行数据采集，所述数据采集按照采集配置进行采集；

S03：判断数据采集是否成功，若否，则标记采集失败，并按照任务计划执行下一个数据采集任务，若是，则将采集到的数据进行标准格式化，形成待入库数据；

S04：判断待入库数据是否已存在情报库中，若否，则将待入库数据保存至所述情报库中，并按照任务计划执行下一个数据采集任务，若是，则直接按照任务计划执行下一个数据采集任务。

2.根据权利要求1所述的专业情报信息采集方法，其特征在于，所述步骤S02中的采集配置包括URL、API、标题、发表时间、作者、内容及采集时间；针对有限制权限的网站，所述采集配置还包括账号、密码、session、cookies。

3.根据权利要求2所述的专业情报信息采集方法，其特征在于，所述步骤S02按照所述任务计划进行数据采集，所述数据采集按照采集配置进行采集之前，先进行URL查重，

若URL已被采集，且采集时间到当前时间的差值小于预设值，则不对该URL采集；

若URL已被采集，且采集时间到当前时间的差值大于等于预设值，则对该URL采集；

若URL未被采集，则对该URL采集。

4.根据权利要求3所述的专业情报信息采集方法，其特征在于，所述步骤S02中的采集配置中还包括关键词；

当所述关键词不为空时，调用搜索API检索所述关键词，将所获得的URL添加至所述任务计划中。

5.根据权利要求4所述的专业情报信息采集方法，其特征在于，所述关键词经过如下步骤处理：

判断搜索关键词与网站对应语言是否一致；若是，则执行搜索，若否，则将所述关键词自动翻译为网站语言所对应的文本，并执行搜索。

6.根据权利要求1所述的专业情报信息采集方法，其特征在于，所述步骤S03中，判断数据采集是否成功，若否，则标记采集失败，同时记录采集失败原因及原因对应代状态码，用于后续更新采集配置。

7.根据权利要求1所述的专业情报信息采集方法，其特征在于，所述步骤S01中，所述任务计划包括目标网站集的开始调度时间、调度频率及开启的进程数信息。

8.一种专业情报信息采集装置，其特征在于，包括：

任务计划编辑模块，用于形成任务计划；

任务计划调度模块，用于调度和执行任务计划；

采集配置模块，用于配置各网站的采集配置；

采集模块，用于按照采集配置进行数据采集；

情报标准化模块，用于将采集到的数据进行标准格式化，形成待入库数据；

存储模块，用于存储待入库数据。

9.一种专业情报信息采集设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的专业情报信息采集方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的专业情报信息采集方法的步骤。