[发明专利]内容抓取的方法、装置、设备、介质及程序产品

说明书

本公开提供了一种内容抓取的方法、装置、设备、介质及程序产品，涉及互联网技术。该方法的一实施方式包括：获取多个抓取请求中每个抓取请求对应的图实例，其中，图实例的顶点为执行每个抓取请求的算子；从预设的配置文件中，获取每个抓取请求中资源类型对应的依赖关系；利用与每个抓取请求对应的依赖关系，以及每个抓取请求中资源类型对应的算子，对每个抓取请求中资源类型的内容进行抓取。

技术领域

本公开实施例涉及计算机领域，具体涉及互联网技术，尤其涉及一种内容抓取的方法、装置、设备、介质及程序产品。

背景技术

抓取是搜索收录互联网内容的第一步，每天收录几十亿的各类互联网资源。抓取系统是Spider的重要一环，需要轻量和高效的获取网页、图片、视频资源。

目前，抓取系统采用的是原生套接字（Socket）的方式，只支持超文本传输协议（HyperText Transfer Protocol，HTTP），HTTPS需要通过Nginx代理，以实现对资源的抓取。

发明内容

本公开实施例提出了一种内容抓取的方法、装置、设备、介质及程序产品。

第一方面，本公开实施例提出了一种内容抓取的方法，包括：获取多个抓取请求中每个抓取请求对应的图实例，其中，图实例的顶点为执行每个抓取请求的算子；从预设的配置文件中，获取每个抓取请求中资源类型对应的依赖关系；利用与每个抓取请求对应的依赖关系，以及每个抓取请求中资源类型对应的算子，对每个抓取请求中资源类型的内容进行抓取。

第二方面，本公开实施例提出了一种内容抓取的装置，包括：数据获取模块，被配置成获取多个抓取请求中每个抓取请求对应的图实例，其中，图实例的顶点为执行每个抓取请求的算子；关系获取模块，被配置成从预设的配置文件中，获取每个抓取请求中资源类型对应的依赖关系；内容抓取模块，被配置成利用与每个抓取请求对应的依赖关系，以及每个抓取请求中资源类型对应的算子，对每个抓取请求中资源类型的内容进行抓取。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面描述的方法。

第六方面，本公开实施例提出了一种内容抓取系统，包括终端设备和第三方面描述的电子设备。

本公开实施例提供的内容抓取的方法、装置、设备、介质及程序产品，首先获取多个抓取请求中每个抓取请求对应的图实例，其中，图实例的顶点为执行每个抓取请求的算子；然后从预设的配置文件中，获取每个抓取请求中资源类型对应的依赖关系；最后利用与每个抓取请求对应的依赖关系，以及每个抓取请求中资源类型对应的算子，对每个抓取请求中资源类型的内容进行抓取。可以根据资源类型更加灵活的编排处理流程，更加方便的适应新协议的扩展，在相同抓取成功率下，更加节省了资源。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开可以应用于其中的示例性系统架构图；

图2是根据本公开的内容抓取的方法的一个实施例的流程图；