[发明专利]大数据采集方法、系统、计算机设备及其存储介质

权利要求书

1.一种大数据采集方法，其特征在于，所述的方法包括：

客户端获取相关的互联网数据，提取相关的互联网数据并生成临时数据库，生成所述的临时数据库包括：

获取相关的互联网数据；

提取所述的互联网数据中的非重复项和完整项；

建立临时文件夹，并按日期和时间对其命名；

输入提取后的互联网数据至所述的临时文件夹中，生成所述的临时数据库；

验证端间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；

所述的服务器在接收到验证信息后会收录解压编码并向验证端反馈验证编码；

所述的验证端获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；

所述的服务器接收所述的过渡文件，并通过解压编码将其解压；

当验证端多次输出验证信息而得不到反馈时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

2.根据权利要求1所述的一种大数据采集方法，其特征在于，所述的验证端和服务器之间进行以下步骤：

验证端发送验证信息；

服务器提取验证信息并在记录解压编码后向验证端反馈验证编码；

服务器若无法提取验证信息或者提取的验证信息不完整时，则不作应答。

3.一种大数据采集系统，其特征在于，所述的采集系统包括；

客户端，用于获取相关的互联网数据，并提取相关的互联网数据并生成临时数据库，生成所述的临时数据库包括：

获取相关的互联网数据；

提取所述的互联网数据中的非重复项和完整项；

建立临时文件夹，并按日期和时间对其命名；

输入提取后的互联网数据至所述的临时文件夹中，生成所述的临时数据库；

验证端，用于间歇性地发送验证信息至服务器，所述的验证信息由解压编码和验证编码两部分组成，所述的解压编码在发送验证信息之前随机生成，不具有规律性，所述的验证编码为固定内容且所述的解压编码和验证编码的相对位置不能改变；获取验证编码之后会提取客户端的临时数据库内的互联网数据，并将所述的互联网数据进行加密加压后生成过渡文件；

服务器，用于接收到验证信息后收录解压编码并向验证端反馈验证编码；接收所述的过渡文件，并通过解压编码将其解压；

当所述的验证端在断网或者网络不稳定的情况下，长期无法接收到来自服务器的验证编码时，临时文件夹会随着不间断的提取的互联网数据而使得容量不断增加，当增加到一定阈值时所述客户端会再次生成新的临时文件夹，而接下来所提取的互联网数据会被存入其中并将原先的临时文件夹冻结。

4.根据权利要求3所述的一种大数据采集系统，其特征在于，所述的验证端和服务器之间进行如下步骤：

当服务器在接收到验证信息之后会提取其中的解压编码和验证编码，若验证编码完整则向验证端发送相同的验证编码；

验证端在接收到验证编码之后会提取将临时数据库中的临时文件夹及其内部的互联网数据并将其加密加压后生成过渡文件；

服务器在接收到来自验证端的过渡文件后，利用提取的解压编码将其还原成原始数据；

当服务器无法接收到验证信息或者验证信息不完整和错误时，服务器则不会向验证端发送验证编码。

5.一种计算机设备，其特征在于，包括显示屏、存储器、处理器以及计算机程序，其中所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-2任一项权利要求所述的大数据采集方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-2任一项权利要求所述的大数据采集方法的步骤。