[发明专利]一种自动收集数据方法及系统

权利要求书

1.一种自动收集数据方法，其特征在于，包括以下步骤：

步骤一：使用Selenium模拟鼠标滑动；

步骤二：从html获取完整的图片和有缺口的图片；

步骤三：根据完整的图片与有缺口的图片相同位置的像素进行对比；

步骤四：使用moveByOffset进行模拟滑动。

2.根据权利要求1所述的一种自动收集数据方法，其特征在于，使用Selenium模拟鼠标滑动之后，所述步骤还包括：

使用Selenium中的WebDriver工具类获取html整个DOW节点；

逐层解析从html获取的整个DOW节点，获取图片所在的节点。

3.根据权利要求2所述的一种自动收集数据方法，其特征在于，获取图片所在的节点之后，从html获取完整的图片和有缺口的图片之前，所述步骤还包括：

根据获取的图片所在节点，获取图片的url地址；

根据图片的url地址，对图片进行下载。

4.根据权利要求3所述的一种自动收集数据方法，其特征在于，从html获取完整的图片和有缺口的图片之后，所述步骤还包括：

计算整个完整图片的宽度和高度。

5.根据权利要求4所述的一种自动收集数据方法，其特征在于，计算整个完整图片的宽度和高度之后，所述步骤还包括：

创建一个BufferedImage,将完整图片对应的52张图片通过Graphics进行绘制。

6.根据权利要求5所述的一种自动收集数据方法，其特征在于，创建一个BufferedImage,将完整图片对应的52张图片通过Graphics进行绘制，所述步骤包括：

将第一组图片中x*.jpg构造出第一数组，将第一组图片中y*.jpg构造出第二数组；

将第一数组对应的图片与第二数组对应的图片循环依次摆放至空白图片上，得到完整的图片；

将第二组图片中x*.jpg构造出第三数组，将第一组图片中y*.jpg构造出第四数组；

将第三数组对应的图片与第四数组对应的图片循环依次摆放至空白图片上，得到有缺口的图片。

7.根据权利要求6所述的一种自动收集数据方法，其特征在于，根据完整的图片与有缺口的图片相同位置的像素进行对比，所述步骤包括：

当完整的图片与有缺口的图片相同位置的像素相差大于等于固定阈值时，则返回宽度值。

8.根据权利要求7所述的一种自动收集数据方法，其特征在于，当完整的图片与有缺口的图片相同位置的像素相差大于等于固定阈值时，则返回宽度值之后，所述步骤还包括：

计算完整的图片与有缺口的图片相同位置的像素相差的数学表达式：lim(x→width；y→height)f(x,y)；

(x,y)为图片的循环宽、高，并动态地得到完整图片中一个点(x,y)。

9.根据权利要求8所述的一种自动收集数据方法，其特征在于，使用moveByOffset进行模拟滑动之后，所述步骤还包括：

抓取html内容；

将抓取的html内容保存至分布式文件系统FastDFS中；

采用jsoup插件对html文档进行解析。

10.一种自动收集数据系统，其特征在于，所述系统包括：

第一滑动单元，用于使用Selenium模拟鼠标滑动；

获取单元，用于从html获取完整的图片和有缺口的图片；

对比单元，用于根据完整的图片与有缺口的图片相同位置的像素进行对比；

第二滑动单元，用于使用moveByOffset进行模拟滑动。