[发明专利]大数据数据流同步及监控测试方法、装置及存储介质

权利要求书

1.一种大数据数据流同步及监控测试方法，其特征在于，包括：

将生产环境的数据库同步至测试环境完成测试环境数据库的初始化，其中，数据库包括业务mysql库、大数据hive库和elasticsearch库；

测试过程中，基于预配置的数据规则执行业务mysql库、大数据hive库和和elasticsearch库在数据流转过程中的一致性测试，其中，包括业务mysql库和大数据hive库之间字段一致性校验和数据量监控，业务mysql库和elasticsearch库之间的数据一致性校验，大数据hive库和elasticsearch库之间的数据一致性校验，测试过程中业务mysql库的字段信息校验；

基于一致性测试结果生成数据质量报告。

2.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，业务mysql库和大数据hive库之间字段一致性校验，包括：

获取业务mysql的库表，并基于获取的库表扫描生成第一字典；

获取大数据hive库表，并基于获取的库表扫描生成第二字典；

对比第一字典和第二字典，并输出对比结果作为字段一致性校验结果。

3.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，业务mysql库和大数据hive库之间数据量监控，包括：

基于聚合函数分别计算业务mysql库和大数据hive库总数据量和新增数据量；

并基于计算得到的总数据量和新增数据量得到数据量监控结果。

4.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，所述业务mysql库和elasticsearch库之间的数据一致性校验，包括：

获取需对比的数据项，并生成该数据项分别在业务mysql库和elasticsearch库的查询条件；

基于获得查询条件分别在业务mysql库和elasticsearch库的查询结果；

基于业务mysql库和elasticsearch库的查询结果进行总量和单条对比，并输出对比结果作为第一数据一致性校验。

5.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，所述大数据hive库和elasticsearch库之间的数据一致性校验，包括：

获取需对比的数据项，并生成该数据项分别在大数据hive库和elasticsearch库的查询条件；

基于获得查询条件分别在大数据hive库和elasticsearch库的查询结果；

基于大数据hive库和elasticsearch库的查询结果进行总量和单条对比，并输出对比结果作为第二数据一致性校验。

6.根据权利要求4或5所述的一种大数据数据流同步及监控测试方法，其特征在于，所述需对比的数据项通过随机方式选取。

7.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，所述方法还包括：

将数据质量报告发送指定发送至指定终端。

8.根据权利要求1所述的一种大数据数据流同步及监控测试方法，其特征在于，所述基于一致性测试结果生成数据质量报告，包括：

获取一致性测试结果；

基于预配置的报告模板，根据一致性测试结果的数据生成可视化的数据质量报告。

9.一种大数据数据流同步及监控测试装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。

10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。