[发明专利]数据爬取应用的创建方法、装置、存储介质及设备

说明书

本公开涉及一种数据爬取应用的创建方法、装置、存储介质及设备。所述方法包括：定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；根据所述响应数据，确定输出数据；将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。由此，通过抽象封装方法生成能够进行数据爬取的数据爬取单元，并基于数据爬取单元生成数据爬取应用，供用户直接使用以实现数据爬取功能，无需重复编写代码，提升数据爬取的效率，可用性强。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种数据爬取应用的创建方法、装置、存储介质及设备。

背景技术

目前，对于数据的爬取，特别是对于网页数据的爬取，一般由代码定义一切，在需要爬取所需数据时，由专业人士编写代码。首先，对相关人员的专业素质要求很高，不具备编程基础的用户往往无法完成代码编写，也就无法实现数据爬取，人员成本很高。另外，具备相关专业知识的技术人员每次有爬取数据的需求，就需要重新编写一次代码，设置相关的参数，间接导致数据爬取效率不高。

发明内容

本公开的目的是提供一种数据爬取应用的创建方法、装置、存储介质及设备，以提升数据爬取效率。

为了实现上述目的，根据本公开的第一方面，提供一种数据爬取应用的创建方法，所述数据爬取应用至少包括一个数据爬取单元，所述方法包括：

定义用于输入所述数据爬取单元的请求参数，所述请求参数中至少包括：待爬取网址；

基于所述请求参数中的待爬取网址，执行模拟数据爬取，获得响应数据；

根据所述响应数据，确定输出数据；

将所述数据爬取单元进行封装，得到所述数据爬取应用，其中，所述数据爬取应用的输入接口根据所述请求参数定义，所述数据爬取应用的输出接口根据所述输出数据定义。

可选地，所述根据所述响应数据，确定输出数据，包括：

接收针对所述响应数据输入的裁剪指令，所述裁剪指令用于指示对所述响应数据中的冗余信息进行剔除；

响应于所述裁剪指令对所述响应数据进行裁剪，得到所述输出数据；

和/或，

在得到所述输出数据之后，所述方法还包括以下至少一种：

根据预先设置的结果验证表达式，验证所述输出数据中的数据格式是否有效；

根据预先设置的翻页条件，判断在得到所述输出数据后是否需要继续执行翻页操作；

根据翻页参数，生成下一请求所需的实际参数，所述翻页参数是基于前一响应数据生成的。

可选地，所述请求参数中还包括以下至少一种：

参数类型信息，所述参数类型为输入、枚举、翻页、固定、计算和引用中的至少一种；

输入类型信息，所述输入类型信息为文本、数字、时间、时间范围和集合中的至少一种；

采用预设规则表达式表示的过滤字段，所述过滤字段用于通过所述预设规则表达式对输入的所述请求参数进行过滤，得到实际请求参数；

用于存储每种参数类型对应的额外信息的选项字段，其中，当所述参数类型为枚举时，所述选项字段中存储的额外信息是枚举值的字典；当所述参数类型为翻页时，所述选项字段中存储的额外信息是翻页条件、翻页间隔时间和最大翻页数；当所述参数类型为引用时，所述选项字段中存储的额外信息是引用的参数名。