[发明专利]一种数据测试方法和装置

说明书

本发明公开了一种数据测试方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据预期需求对被测模型的结果字段分类，并确定分类得到的各类结果字段对应的期望业务逻辑；解析被测模型中与各类结果字段对应的关键字，以确定各类结果字段对应的实际业务逻辑；确定实际业务逻辑与所述期望业务逻辑一致后，按照与期望业务逻辑一致的实际业务逻辑，验证被测模型的结果数据，从而完成所述被测模型的数据测试。该实施方式能够高效清晰地找出测试字段对应的处理逻辑，克服大数据测试中无法测试业务逻辑和定位业务逻辑计算中的问题的缺陷，对于代码能力不高的测试人员也可完成业务逻辑的测试验证，降低测试工作量，提高测试效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据测试方法和装置。

背景技术

随着互联网行业不断成熟，电商对于大数据的依赖也越来越大，人们对于数据型产品的需求也越来越多，这些数据型产品需要通过大数据计算才能满足需求，比如电商中的数据爬虫，数据清洗，数据整合、匹配等，数据产品系统的关键就是数据的正确性，测试同时如何才能保障系统质量，帮助开发人员更好的定位问题显得尤为重要。

目前很多大数据计算大多通过Spark(专为大规模数据处理而设计的快速通用的计算引擎)或者Hive SQL(Hive是基于Hadoop构建的一套数据仓库分析系统，提供丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL(结构化查询语言)查询功能，可以将SQL语句转换为MapReduce(一个并行计算与运行软件框架)任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称Hive SQL，)计算，而这些计算对于用户来说又都是透明的，目前大数据测试的一般方法是按照需求及原定的业务逻辑，按照测试的思路将全量的数据源运行一遍，运行出期望结果，再使用开发代码运行出实际结果，将期望结果与实际结果对比，但仅通过测试结果数据只能判断结果的正确与否，但一旦测试结果不一致，对于带有复杂业务逻辑的计算无法定位到计算过程的问题(SQL计算对于测试完全透明，且通过MapReduce计算更无从查起)，这样对于大数据的测试就失去了测试的意义。此外，对于几百行代码的SQL计算，逻辑复杂且代码不易读，目前还没有很好的办法解析SQL，简化SQL，分析其中的业务逻辑，必须要求SQL能力很强的测试人员才能清晰分析其中的逻辑和错误，因此，这种方法通常对测试人员的代码能力要求较高，需要自行编写出可以实现的代码才能运行出期望结果。并且，计算时涉及表和字段很多，且数据量巨大，通过全量计算期望结果来验证数据的的方式计算效率过低，且当期望结果计算错误时反而会更影响测试进度，既要验证实际结果还要保证期望结果的正确，增加了测试的工作量。

当前的业务逻辑测试都是需要开发人员打印日志，在程序执行的时候，通过观察日志查看业务逻辑处理是否正确，再通过返回值和数据库保存及交接系统的处理来发现问题和定位问题。当前的业务逻辑测试方法无法应用于大数据测试，尤其是SQL的测试，当前的SQL测试对于其业务逻辑无法测试，也无法定位SQL的问题，遇到问题需要提交开发端去查找和定位。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

当前的大数据测试无法测试业务逻辑和定位业务逻辑计算中的问题；

对测试人员的代码能力要求较高，测试工作量大且测试效率低。

发明内容

有鉴于此，本发明实施例提供一种数据测试方法和装置，能够高效清晰地找出测试字段对应的处理逻辑，克服大数据测试中无法测试业务逻辑和定位业务逻辑计算中的问题的缺陷，对于代码能力不高的测试人员也可完成业务逻辑的测试验证，降低测试工作量，提高测试效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据测试方法。