[发明专利]一种网页数据的核对方法

权利要求书

1.一种网页数据的核对方法，其特征在于，包括：

获取网页数据，并对所述网页数据进行提取，以得到目标数据；

将所述目标数据进行分类，并写入目标数据表中；

获取标准数据表，并根据所述标准数据表与所述目标数据表之间相对应的栏位建立所述标准数据表与所述目标数据表的连接关系；其中所述标准数据表中记录有用于核对的标准数据；

根据所述连接关系核对所述标准数据表与所述目标数据表的对应数据，并得到所述对应数据的差值，将所述差值作为核对结果。

2.根据权利要求1所述的方法，其特征在于，所述获取网页数据具体为：

通过网络爬虫技术获取网页数据。

3.根据权利要求1或2所述的方法，其特征在于，在所述获取网页数据，并对所述网页数据进行提取，以得到目标数据后，该方法进一步包括：

将所述目标数据写入目标数据文件。

4.根据权利要求1或2所述的方法，其特征在于，在所述得到所述对应数据的差值，将所述差值作为核对结果后，该方法进一步包括：

输出核对结果。

5.根据权利要求4所述的方法，其特征在于，在所述输出核对结果之前，该方法进一步包括：

设定误差阈值；

相应的，在所述得到所述对应数据的差值后，该方法进一步包括：

判断所述差值是否在所述误差阈值的范围内，如果是，则执行输出核对结果的步骤；

否则，进行错误提示。

6.根据权利要求4所述的方法，其特征在于，在所述输出核对结果后，该方法进一步包括：

将所述核对结果存储到本地数据库。

7.根据权利要求1或2所述的方法，其特征在于，所述写入目标数据表的对应栏位中具体为：

写入hive数据库的目标数据表的对应栏位中。

8.一种网页数据的核对装置，其特征在于，包括：

数据提取模块，用于获取网页数据，并对所述网页数据进行提取，以得到目标数据；

数据写入模块，用于将所述目标数据进行分类，并写入目标数据表中；

数据表连接模块，用于获取标准数据表，并根据所述标准数据表与所述目标数据表之间相对应的栏位建立所述标准数据表与所述目标数据表的连接关系；其中所述标准数据表中记录有用于核对的标准数据；

数据核对模块，用于根据所述连接关系核对所述标准数据表与所述目标数据表的对应数据，并得到所述对应数据的差值，将所述差值作为核对结果。

9.根据权利要求8所述的装置，其特征在于，该装置进一步包括：

数据写入模块，用于将所述目标数据写入目标数据文件。

10.根据权利要求8所述的装置，其特征在于，该装置进一步包括：

输出模块，用于输出核对结果。