[发明专利]大数据数据流同步及监控测试方法、装置及存储介质

说明书

本发明涉及一种大数据数据流同步及监控测试方法、装置及存储介质，其中方法包括：将生产环境的数据库同步至测试环境完成测试环境数据库的初始化，其中，数据库包括业务mysql库、大数据hive库和elasticsearch库；测试过程中，基于预配置的数据规则执行业务mysql库、大数据hive库和和elasticsearch库在数据流转过程中的一致性测试，其中，包括业务mysql库和大数据hive库之间字段一致性校验和数据量监控，业务mysql库和elasticsearch库之间的数据一致性校验，大数据hive库和elasticsearch库之间的数据一致性校验，测试过程中业务mysql库的字段信息校验；基于一致性测试结果生成数据质量报告。与现有技术相比，本发明具有保障测试过程中数据流转一致性等优点。

技术领域

本发明涉及数据监控领域，尤其是涉及一种大数据数据流同步及监控测试方法、装置及存储介质。

背景技术

随着时代的发展，信息化互联的普及，大数据概念的兴起。很多企业都在原有业务的基础上衍生出大数据业务。如何保证业务数据的正确性，以及业务数据到大数据流转过程的质量，是当前数据测试的难题。测试时需要将生产环境的数据初始化到测试环境，然后在测试环境数据流转的过程中对数据的质量进行监控。因业务数据的流向呈现多样化，对于数据质量的验证往往于人工加脚本的方式，测试时间较长，难度较大，容易出错，出错后难定位问题。

因此，如何保证测试环境数据的质量，数据在流转过程中的质量，解决测试周期长，复杂度大的问题，是当前需要解决的技术问题。

发明内容

本发明的目的就是为了提供一种大数据数据流同步及监控测试方法、装置及存储介质。

本发明的目的可以通过以下技术方案来实现：

一种大数据数据流同步及监控测试方法，包括：

将生产环境的数据库同步至测试环境完成测试环境数据库的初始化，其中，数据库包括业务mysql库、大数据hive库和elasticsearch库；

测试过程中，基于预配置的数据规则执行业务mysql库、大数据hive库和和elasticsearch库在数据流转过程中的一致性测试，其中，包括业务mysql库和大数据hive库之间字段一致性校验和数据量监控，业务mysql库和elasticsearch库之间的数据一致性校验，大数据hive库和elasticsearch库之间的数据一致性校验，测试过程中业务mysql库的字段信息校验；

基于一致性测试结果生成数据质量报告。

业务mysql库和大数据hive库之间字段一致性校验，包括：

获取业务mysql的库表，并基于获取的库表扫描生成第一字典；

获取大数据hive库表，并基于获取的库表扫描生成第二字典；

对比第一字典和第二字典，并输出对比结果作为字段一致性校验结果。

业务mysql库和大数据hive库之间数据量监控，包括：

基于聚合函数分别计算业务mysql库和大数据hive库总数据量和新增数据量；

并基于计算得到的总数据量和新增数据量得到数据量监控结果。

所述业务mysql库和elasticsearch库之间的数据一致性校验，包括：

获取需对比的数据项，并生成该数据项分别在业务mysql库和elasticsearch库的查询条件；

基于获得查询条件分别在业务mysql库和elasticsearch库的查询结果；