[发明专利]一种数据流测试方法及系统

说明书

本发明实施例提供的一种数据流测试方法及系统，该方法包括：根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；查找与所述测试需求对应的数据逻辑模型；利用所述测试数据以及所述数据逻辑模型运算得到预期结果，获取与所述测试需求相对应的实时实际结果；比较所述预期结果与实时实际结果是否相同，得到比较结果，本发明提供的数据流测试方法，按照具体的需求进行数据结构的定义，并生成测试数据，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。

技术领域

本发明实施例涉及大数据技术领域，具体涉及一种数据流测试方法及系统。

背景技术

现有大数据流测试方案：通过在模拟个别数据上报，在数据展现的BI报表中手动验证数据处理及数据计算是否正确；用数据对齐的方式在数据报表的各个出口验证数据是否一致；自定义SQL，分段验证数据处理逻辑是否正确。BI是商务智能，BI报表也就是将企业中现有数据进行整合并提供出的报表。

现有大数据流测试方案的缺陷：

1.由于数据场景服务，目前方案无法保证数据多样性，保证测试覆盖度；

2.由于涉及的数据量巨大，无法准确的找到测试数据的口径；

3.由于数据场景复杂，通常只能覆盖测试覆盖的正用例，很难构造异常场景；

4.目前方案只支持手动验证，导致回归测试成本极高，或者不可能实现。

因此，如何提供一种数据流的测试方案，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径，是本领域技术人员亟待解决的技术问题。

发明内容

为此，本发明实施例提供一种数据流测试方法及系统，能够保证数据的多样性，保证测试覆盖度，在数据测试时准确找到测试数据的口径。

为了实现上述目的，本发明实施例提供如下技术方案：

第一方面，本发明实施例提供一种数据流测试方法，包括：

根据测试需求定义数据模型结构，并按照所述数据模型结构生成测试数据；

查找与所述测试需求对应的数据逻辑模型；

利用所述测试数据以及所述数据逻辑模型运算得到预期结果

获取与所述测试需求相对应的实时实际结果；

比较所述预期结果与实时实际结果是否相同，得到比较结果。

优选地，所述按照所述数据模型结构生成测试数据，包括：

利用默认规则生成测试数据；

当使用默认规则时，数据值的生成真实结构，以避免产品程序对数据进行超出预期的处理，影响测试结果；

当使用默认规则时，id和code类型的值，通过对uuid二次处理的方式获取，每种id的格式、长度、大小写字母及数字组合与真实数据一致；

当使用默认规则时，剩余类型的数据值，通过数据字典的方式获取，爬取真实线上数据作为本地数据集，随机选取数据集中的值；

当使用默认规则时，部分字段的值在数据字典中进行分组，达到随机选取时联动的效果；

当使用默认规则时，测试数据集中在测试专用的通道和app中，以实现数据隔离，避免了对线上数据污染；

当使用默认规则时，部分id字段加入了自定义标识，对测试数据进行了进一步隔离，也实现测试数据口径的精准选取；自定义标识在工程中为全局设置，每个使用者可以定义自己的标识，也可以共用标识。

优选地，所述按照所述数据模型结构生成测试数据，包括：