[发明专利]数据爬取应用的创建方法、装置、存储介质及设备

权利要求书

1.一种数据爬取应用的创建方法，其特征在于，所述数据爬取应用至少包括一个数据爬取单元，所述方法包括：

定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；

基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；

根据所述响应数据，确定输出数据；

将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。

2.根据权利要求1所述的方法，其特征在于，所述根据所述响应数据，确定输出数据，包括：

接收针对所述响应数据输入的裁剪指令，所述裁剪指令用于指示对所述响应数据中的冗余信息进行剔除；

响应于所述裁剪指令对所述响应数据进行裁剪，得到所述输出数据；

和/或，

在得到所述输出数据之后，所述方法还包括以下至少一种：

根据预先设置的结果验证表达式，验证所述输出数据中的数据格式是否有效；

根据预先设置的翻页条件，判断在得到所述输出数据后是否需要继续执行翻页操作；

根据翻页参数，生成下一请求所需的实际参数，所述翻页参数是基于前一响应数据生成的。

3.根据权利要求1所述的方法，其特征在于，所述请求参数中还包括以下至少一种：

参数类型信息，所述参数类型为输入、枚举、翻页、固定、计算和引用中的至少一种；

输入类型信息，所述输入类型信息为文本、数字、时间、时间范围和集合中的至少一种；

采用预设规则表达式表示的过滤字段，所述过滤字段用于通过所述预设规则表达式对输入的所述请求参数进行过滤，得到实际请求参数；

用于存储每种参数类型对应的额外信息的选项字段，其中，当所述参数类型为枚举时，所述选项字段中存储的额外信息是枚举值的字典；当所述参数类型为翻页时，所述选项字段中存储的额外信息是翻页条件、翻页间隔时间和最大翻页数；当所述参数类型为引用时，所述选项字段中存储的额外信息是引用的参数名。

4.根据权利要求1所述的方法，其特征在于，所述数据爬取单元为多个时，所述将所述数据爬取单元进行封装，得到所述数据爬取应用，包括：

获取连接结构信息，所述连接结构信息中至少包括：数据爬取入口单元的标识信息，以及各个数据爬取单元之间的连接关系；

根据所述连接结构信息中的标识信息，确定数据爬取入口单元，并从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，并将最后一个数据爬取单元确定为数据爬取出口单元；

对连接之后的所述各个数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口位于所述数据爬取入口单元，所述数据爬取应用的输出接口位于所述数据爬取出口单元。

5.根据权利要求4所述的方法，其特征在于，所述连接关系包括依赖关系；

所述从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，包括：

若第一数据爬取单元为第二数据爬取单元的前一数据爬取单元、且所述第一数据爬取单元与第二数据爬取单元存在依赖关系，则将所述第二数据爬取单元的请求参数与所述第一数据爬取单元的输出数据进行绑定；以及

为所述第一数据爬取单元的输出数据设置配置信息，以将所述第一数据爬取单元的输出数据转化为对所述第二数据爬取单元的请求参数有效的形式。

6.根据权利要求4所述的方法，其特征在于，所述连接关系包括传递关系；

所述从所述数据爬取入口单元开始，根据所述连接关系依次连接各个所述数据爬取单元，包括：

若第三数据爬取单元为第四数据爬取单元的前一数据爬取单元、且所述第三数据爬取单元与第四数据爬取单元存在传递关系，则在所述第三数据爬取单元和所述第四数据爬取单元之间定义过滤器，所述过滤器用于确定所述第三数据爬取单元的输出数据中能够传递给所述第四数据爬取单元的流转数据、以及所述流转数据传递到所述第四数据爬取单元的请求参数的数据转换规则。