[发明专利]数据采集方法和装置、计算机设备、存储介质

权利要求书

1.一种数据采集方法，其特征在于，所述方法包括：

获取预设的信息源；

对所述预设的信息源进行抓包分析，得到第一信息数据；

根据第一信息数据生成配置规则，并将所述配置规则存储到数据库；

根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据，包括：

根据所述配置规则生成目标任务，将所述目标任务加入任务队列中；

通过预设的任务接口将所述任务队列中的所述目标任务加入到消费队列中；

根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据。

3.根据权利要求2所述的方法，其特征在于，所述通过预设的任务接口将所述任务队列中的所述目标任务加入到消费队列中，包括：

根据所述目标任务的任务类型将所述目标任务加入到消费队列中。

4.根据权利要求2所述的方法，其特征在于，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，包括：

根据所述目标任务得到所述信息源的配置类型，所述配置类型包括加密配置和普通配置；

若所述配置类型为加密配置，则根据所述目标任务对所述信息源进行解密。

5.根据权利要求2所述的方法，其特征在于，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，还包括：

对所述信息源的采集位置进行标记处理，以得到位置标记信息；

根据所述位置标记信息进行下一轮采集。

6.根据权利要求2所述的方法，其特征在于，所述根据消费队列中的目标任务对所述预设的信息源进行采集以获取第二信息数据，还包括：

根据消费队列中的目标任务对所述预设的信息源解析，以得到解析数据；

根据消费队列中的目标任务对所述预设的信息源进行再采集，以得到再采集数据；

根据所述解析数据和所述再采集数据，获取第二信息数据。

7.根据权利要求1至6任一项所述的方法，其特征在于，在所述根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据之后，所述方法还包括：

将所述第二信息数据发送到预设的目标位置。

8.一种数据采集装置，其特征在于，包括：

信息源获取模块，用于获取预设的信息源；

第一信息数据获取模块，用于对所述预设的信息源进行抓包分析，得到第一信息数据；

配置规则生成与存储模块，用于根据第一信息数据生成配置规则，并将所述配置规则存储到数据库；

第二信息数据获取模块，用于根据所述配置规则对所述预设的信息源进行采集以获取第二信息数据。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行：

如权利要求1至7中任一项所述的方法。

10.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行：

如权利要求1至7中任一项所述的方法。