[发明专利]一种基于爬虫的自动化差异检测方法及装置

权利要求书

1.一种基于爬虫的自动化差异检测方法，所述方法包括：

获取第一Web系统的第一初始统一资源定位符（URL）以及第二Web系统的第二初始URL；

基于爬虫分别对第一初始URL和第二初始URL进行遍历，以不断抓取第一web系统下的第一页面和第二web系统下的第二页面，

其中，在遍历过程中，执行以下处理：对抓取的第一页面和相应的第二页面进行渲染，分别产生第一网页图像和第二网页图像，对第一网页图像和第二网页图像进行相似性比较，当第一网页图像和第二网页图像不同时，产生差异页面信息，并且将所述差异页面信息存储在差异页面信息数据库中。

2.如权利要求1所述的方法，其中，所述差异页面信息包括指示所述第一网页图像与所述第二网页图像不同的图像。

3.如权利要求2所述的方法，其中，所述差异页面信息还包括与所述第一网页图像对应的第一网页的URL和与所述第二网页图像对应的第二网页的URL，和/或与所述第一网页图像对应的第一网页和与所述第二网页图像对应的第二网页。

4.如权利要求1所述的方法，其中，进行相似性比较的步骤包括：

将第一网页图像与相应的第二网页图像分别转换为第一灰度图像和第二灰度图像；

逐个比较第一灰度图像和第二灰度图像中的每个像素；

如果第一灰度图像和第二灰度图像的不同像素数量超过预定阈值，则确定第一网页图像与相应的第二网页图像不同。

5.如权利要求4所述的方法，其中，使用第一灰度图像中的与第二灰度图像不同的像素来产生所述差异页面信息。

6.如权利要求1所述的方法，其中，在所述遍历过程中，跳过第一Web系统下的非本地URL和第二Web系统下的非本地URL。

7.如权利要求1所述的方法，其中，如果第一Web系统下的本地URL的后缀与第二Web系统下的相应的本地URL的后缀相同，则确定所述第一Web系统下的本地URL与所述第二Web系统下的相应的本地URL相同。

8.如权利要求7所述的方法，其中，在所述遍历过程中，如果从第一页面中提取的URL与从第二页面中提取的相应的URL不相同，则跳过所述从第一页面中提取的URL和所述从第二页面中提取的相应的URL，并产生差异页面信息，将差异页面信息存储在差异页面信息数据库中。

9.如权利要求8所述的方法，其中，所述差异页面信息包括所述第一页面的URL和所述第二页面的URL，和/或所述第一页面和所述第二页面。

10.如权利要求1或8所述的方法，还包括，从差异页面信息数据库读取差异页面信息，根据所述差异页面信息产生相应的报告。

11.一种基于爬虫的自动化差异检测装置，所述装置包括：

URL获取单元，获取第一Web系统的第一初始统一资源定位符（URL）以及第二Web系统的第二初始URL；

遍历比较单元，基于爬虫分别对第一初始URL和第二初始URL进行遍历，以不断抓取第一web系统下的第一页面和第二web系统下的第二页面，

其中，在遍历过程中，执行以下处理：对抓取的第一页面和相应的第二页面进行渲染，分别产生第一网页图像和第二网页图像，对第一网页图像和第二网页图像进行相似性比较，当第一网页图像和第二网页图像不同时，产生差异页面信息，并且将所述差异页面信息存储在差异页面信息数据库中。

12.如权利要求11所述的装置，其中，所述差异页面信息包括指示所述第一网页图像与所述第二网页图像不同的图像。

13.如权利要求12所述的装置，其中，所述差异页面信息还包括与所述第一网页图像对应的第一网页的URL和与所述第二网页图像对应的第二网页的URL，和/或与所述第一网页图像对应的第一网页和与所述第二网页图像对应的第二网页。

14.如权利要求11所述的装置，其中，遍历比较单元还被配置为：

将第一网页图像与相应的第二网页图像分别转换为第一灰度图像和第二灰度图像；

逐个比较第一灰度图像和第二灰度图像中的每个像素；

如果第一灰度图像和第二灰度图像的不同像素数量超过预定阈值，则确定第一网页图像与相应的第二网页图像不同。