[发明专利]数据测试方法和装置

权利要求书

1.一种数据测试方法，其特征在于，包括：

将待测试数据表划分为多个字段集；其中，每一字段集包括待测试数据表的至少一个字段；对于任一字段集：如果该字段集不依赖于其余字段集或者依赖的字段集已通过测试，则从数据源获取所述任一字段集对应的期望结果数据集，并在判断所述期望结果数据集与所述任一字段集形成的数据集相等时，将所述任一字段集确定为通过测试；或者，

将待测试数据表划分为多个记录集；其中，每一记录集包括待测试数据表的至少一条记录；从数据源获取任一记录集对应的期望结果数据集，在判断该期望结果数据集与该记录集形成的数据集相等时，将该记录集确定为通过测试。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在将任一字段集确定为通过测试之后：如果该字段集中存在未测试字段集依赖的字段，则将该字段保留，并将所述任一字段集中的其余字段去除；如果所述任一字段集中不存在未测试字段集依赖的字段，则将所述任一字段集去除。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

对于不依赖于其余字段集或者依赖的字段集已通过测试的一个字段集：依据预先设置的数据标签将该字段集的数据划分为多个数据行集合，并分别针对每一数据行集合进行测试；在数据行集合全部通过测试时，将该字段集确定为通过测试。

4.根据权利要求1所述的方法，其特征在于，从数据源获取期望结果数据集包括：

从数据源直接获取期望结果数据集；或者，

从数据源获取待测试的字段集或记录集对应的原始数据，并利用预设逻辑对原始数据进行处理生成期望结果数据集。

5.根据权利要求1所述的方法，其特征在于，判断期望结果数据集与字段集或记录集形成的数据集相等包括：

获取该期望结果数据集与该形成的数据集的差集、以及该形成的数据集与该期望结果数据集的差集；

在二差集均为空集时，将该期望结果数据集与该形成的数据集确定为相等。

6.根据权利要求1-5任一所述的方法，其特征在于，所述待测试数据表和所述期望结果数据集均为分布式数据处理框架Spark中的DataFrame对象。

7.一种数据测试装置，其特征在于，包括：

列降维单元，用于将待测试数据表划分为多个字段集；其中，每一字段集包括待测试数据表的至少一个字段；对于任一字段集：如果该字段集不依赖于其余字段集或者依赖的字段集已通过测试，则从数据源获取所述任一字段集对应的期望结果数据集，并在判断所述期望结果数据集与所述任一字段集形成的数据集相等时，将所述任一字段集确定为通过测试；或者，

行降维单元，用于将待测试数据表划分为多个记录集；其中，每一记录集包括待测试数据表的至少一条记录；从数据源获取任一记录集对应的期望结果数据集，在判断该期望结果数据集与该记录集形成的数据集相等时，将该记录集确定为通过测试。

8.根据权利要求7所述的装置，其特征在于，所述装置进一步包括：

字段去除单元，用于在将任一字段集确定为通过测试之后：如果判断该字段集中存在未测试字段集依赖的字段，则将该字段保留，并将所述任一字段集中的其余字段去除；如果判断所述任一字段集中不存在未测试字段集依赖的字段，则将所述任一字段集去除。

9.根据权利要求7所述的装置，其特征在于，所述装置进一步包括：

后续降维单元，用于对于不依赖于其余字段集或者依赖的字段集已通过测试的一个字段集：依据预先设置的数据标签将该字段集的数据划分为多个数据行集合，并分别针对每一数据行集合进行测试；在数据行集合全部通过测试时，将该字段集确定为通过测试。

10.根据权利要求7所述的装置，其特征在于，列降维单元或行降维单元进一步用于：

从数据源直接获取期望结果数据集；或者，从数据源获取待测试的字段集或记录集对应的原始数据，并利用预设逻辑对原始数据进行处理生成期望结果数据集。