[发明专利]网页信息处理方法、系统、电子设备和存储介质

说明书

本申请提供一种网页信息处理方法、系统、电子设备和存储介质，涉及数据处理领域，用于爬取和处理网页资源。该网页信息处理方法包括：获取待爬取的URL地址，根据该URL地址爬取网页信息；调取数据库中与该URL地址绑定的解析模块，解析爬取所得的网页信息，提取网页信息的数据内容；并调取数据库中与该URL地址绑定的处理模块，处理解析所得的数据内容。本申请将URL地址与对应的解析模块和处理模块建立相互映射的绑定关系，执行某一URL地址的爬取任务时，在进程中传递该URL地址，以根据该URL地址灵活地从数据库中调取对应的解析模块和处理模块对爬取的网页信息进行处理；URL地址和其对应的解析模块和处理模块可以动态修改配置。

技术领域

本申请涉及数据处理技术领域，具体地说，涉及一种网页信息处理方法、系统、电子设备和存储介质。

背景技术

爬虫技术是一种按照一定规则自动抓取特定的网页资源的技术，由于每个网站的网页各不相同，在抓取不同的网页资源时需要针对特定的网页资源做定制性的开发。

现有的爬虫技术系统参照图1所示，调度中心控制着多条爬取线，每条爬取线对应抓取一个网页资源，每条爬取线包括3个模块，分别是网页下载模块、网页解析模块和数据处理模块，各条爬取线之间相互独立。当增加一个网页资源的获取需求，需要在原工程代码中为其新增一段网页解析和数据处理的程序。

这种方式的缺陷在于：其一，每增加一个网页资源获取的需求，就要直接修改源代码，在原工程代码中新开发一个程序，过程中很容易因为误操作而影响原来的正常代码；其二，新开发的程序上线前需要进行测试，每次上线发布新代码都需要重启服务器，影响整体的效率；其三，随着网页资源获取需求的增多，每一个网页资源都对应一条新的爬取线，当网页资源增大到成千上万条时，工程代码非常庞大，后期对于代码的维护耗时耗力，不具备可持续性。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本申请提供一种网页信息处理方法、系统、电子设备和存储介质，以解决现有技术中解析模块和处理模块无法灵活配置，每次新增爬取需求都要修改源代码的问题。

根据本申请的一个方面，提供一种网页信息处理方法，包括：获取待爬取的URL地址，根据该URL地址爬取网页信息；调取数据库中与该URL地址绑定的解析模块，解析爬取所得的网页信息，提取网页信息的数据内容；以及调取数据库中与该URL地址绑定的处理模块，处理解析所得的数据内容。

优选地，上述的网页信息处理方法中，每一待爬取的URL地址绑定有解析该URL地址对应的网页信息的解析模块和处理该URL地址对应的数据内容的处理模块；各待爬取的URL地址绑定的解析模块和处理模块均保存于数据库。

优选地，上述的网页信息处理方法还包括：判断爬取所得的网页信息是否能通过通用预解析模块预解析，若是则调取所述通用预解析模块对爬取所得的网页信息进行预解析，若否则执行调取与该URL地址绑定的解析模块的步骤；以及预解析后执行调取与该URL地址绑定的解析模块的步骤。

优选地，上述的网页信息处理方法中，所述预解析的步骤包括：对符合预设的网页信息进行前置操作。

优选地，上述的网页信息处理方法还包括：判断解析所得的数据内容是否能通过通用预处理模块预处理，若是则调取所述通用预处理模块对解析所得的数据内容进行预处理，若否则执行调取与该URL地址绑定的处理模块的步骤；以及预处理后执行调取与该URL地址绑定的处理模块的步骤。

优选地，上述的网页信息处理方法中，所述预处理的步骤包括：对符合预设数据格式的数据内容进行基于预设格式的写入操作。

优选地，上述的网页信息处理方法中，通过定时任务的方式执行所述网页信息处理方法，每一定时任务携带一所述待爬取的URL地址。