[发明专利]一种数据采集方法、装置、电子设备及存储介质

权利要求书

1.一种数据采集方法，其特征在于，应用于电子设备，所述方法包括：

获得目标采集源的网络地址；

利用所述网络地址，确定所述目标采集源的目标类别；

从预设的关于采集源的类别和采集项的对应关系中，确定与所述目标类别所对应的目标采集项；

将所述网络地址和所述目标采集项发送至网络爬虫程序，以使得所述网络爬虫程序对具有所述网络地址的目标采集源中的所述目标采集项进行数据采集。

2.根据权利要求1所述的方法，其特征在于，所述获得目标采集源的网络地址的步骤，包括：

获得用户输入的目标采集源的地址；或

获得预设存储位置中存储的目标采集源的地址。

3.根据权利要求1所述的方法，其特征在于，所述利用所述网络地址，确定所述目标采集源的目标类别的步骤，包括：

识别所述网络地址的目标结构特征；

将所述目标结构特征分别与预设的各个样本结构特征组进行匹配；其中，所述样本结构特征组与类别具有唯一对应性；

将与所述目标结构特征相匹配的样本结构特征组对应的类别，作为所述目标采集源的目标类别。

4.根据权利要求3所述的方法，其特征在于，所述目标结构特征，包括：

所述网络地址中预设级的域名。

5.根据权利要求3所述的方法，其特征在于，所述目标类别，包括：

网站类别、微信类别或rss类别。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述目标采集源的目标类别确定失败时，将预设的通用采集项作为目标采集项，并执行所述将所述网络地址和所述目标采集项发送至网络爬虫程序的步骤。

7.一种数据采集装置，其特征在于，所述装置包括：

获得模块，用于获得目标采集源的网络地址；

第一确定模块，用于利用所述网络地址，确定所述目标采集源的目标类别；

第二确定模块，用于从预设的关于采集源的类别和采集项的对应关系中，确定与所述目标类别所对应的目标采集项；

发送模块，用于将所述网络地址和所述目标采集项发送至网络爬虫程序，以使得所述网络爬虫程序对具有所述网络地址的目标采集源中的所述目标采集项进行数据采集。

8.根据权利要求7所述的装置，其特征在于，所述获得模块具体用于：

获得用户输入的目标采集源的地址；或

获得预设存储位置中存储的目标采集源的地址。

9.一种电子设备，其特征在于，包括处理器和存储器，其中，

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。