[发明专利]一种基于分布式文件系统数据限流测试方法与系统

权利要求书

1.一种基于分布式文件系统数据限流测试方法，其特征在于，所述方法包括以下操作：

在数据限流前后分别执行集群稳定性测试，包括检查集群当前读写以及任务规模、记录大规模并发执行数据读写时间以及带宽占用、记录大规模并发执行计算、流任务时间以及带宽占用；

对数据限流前后的读写类数据、计算类数据以及流类数据进行数据对比，评估当前数据限流策略是否满足要求。

2.根据权利要求1所述的一种基于分布式文件系统数据限流测试方法，其特征在于，所述记录大规模并发执行数据读写时间以及带宽占用具体为：

数据限流前：执行随机大小文件并发读写任务，记录当前并发读写时间T1-0，记录任务执行过程中集群带宽占用率BW1-0；

数据限流后：执行相同数量随机大小文件并发读写任务，记录当前并发读写时间T1-1，记录任务执行过程中集群带宽占用率BW1-1。

3.根据权利要求1所述的一种基于分布式文件系统数据限流测试方法，其特征在于，所述记录大规模并发执行计算、流任务时间以及带宽占用具体为：

数据限流前：执行随机大小文件Wordcount任务，记录当前Wordcount任务所用时间T2-0，记录任务执行过程中集群带宽占用率BW2-0；执行随机大小Hive表去重任务，并将完成后的表通过Kafka存储到HDFS，记录当前Hive去重任务所用时间T3-0，记录任务执行过程中集群带宽占用率BW3-0；

数据限流后：执行相同数量随机大小文件Wordcount任务，记录当前Wordcount任务所用时间T2-1，记录任务执行过程中集群带宽占用率BW2-1；执行相同数量随机大小Hive表去重任务，并将完成后的表通过Kafka存储到HDFS，记录当前Hive去重任务所用时间T3-1，记录任务执行过程中集群带宽占用率BW3-1。

4.根据权利要求3所述的一种基于分布式文件系统数据限流测试方法，其特征在于，当读写类数据存在以下情况时：

T1-1T1-0且BW1-1BW1-0

则表示数据限流达到效果，限流后数据读写任务受到限制，数据限流后执行任务时间更长，但带宽占用率较低；

当计算类数据存在以下情况时：

T2-1T2-0且BW2-1BW2-0

则表示数据限流达到效果，限流后计算类任务受到限制，数据限流后执行任务时间更长，但带宽占用率较低；

当流类数据存在以下情况时：

T3-1T3-0且BW3-1BW3-0

则表示数据限流达到效果，限流后流类任务受到限制，数据限流执行任务时间更长，但宽带占用率较低。

5.根据权利要求1所述的一种基于分布式文件系统数据限流测试方法，其特征在于，所述方法还包括：

将测试过程所有记录保存到日志Xianliu_Test.log中。

6.一种基于分布式文件系统数据限流测试系统，其特征在于，所述系统包括：

限流前后稳定性测试模块，用于在数据限流前后分别执行集群稳定性测试，包括检查集群当前读写以及任务规模、记录大规模并发执行数据读写时间以及带宽占用、记录大规模并发执行计算、流任务时间以及带宽占用；

数据对比模块，用于对数据限流前后的读写类数据、计算类数据以及流类数据进行数据对比，评估当前数据限流策略是否满足要求。

7.根据权利要求6所述的一种基于分布式文件系统数据限流测试系统，其特征在于，所述系统还包括：

日志保存模块，用于将测试过程所有记录保存到日志Xianliu_Test.log中。

8.一种基于分布式文件系统数据限流测试设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现根据权利要求1至5任一项所述的基于分布式文件系统数据限流测试方法。

9.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求1至5任一项所述的基于分布式文件系统数据限流测试方法。