[发明专利]任务数据压缩切换方法、宜压缩程度评价方法及相关装置

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种计算平台任务数据压缩切换方法、宜压缩程度评价方法及相关装置。

背景技术

一个大型的计算平台，例如分布式计算集群上，通常会同时运行大量的计算任务；一些情况下，计算平台会对这些计算任务的中间过程和输出结果产生的数据进行压缩，以减轻磁盘存储压力及后续对数据的网络传输压力。相关技术中，普遍通过预设参数来判定是否对这些任务数据进行压缩，即只要预设参数表示对任务数据进行压缩，则无论其他实际情况如何，一律对任务数据进行压缩，反之，只要预设参数表示不对任务数据进行压缩，则无论其他实际情况如何，都不会压缩任务数据。

实际应用中，上述对任务数据的压缩控制方式存在很多弊端。例如，在预设参数表示对任务数据进行压缩的情况下，所有计算任务产生的数据都进行压缩，使得任务执行需要消耗更多的时间，特别是在计算任务量很大时，会大大降低计算平台的任务执行效率；反之在预设参数表示不对任务数据进行压缩的情况下，所有计算任务产生的数据都不压缩，会给计算平台的磁盘存储及网络传输带来巨大的压力。

发明内容

为克服相关技术的问题，本申请提供一种计算平台任务数据压缩切换方法、宜压缩程度评价方法及相关装置。

本申请第一方面，提供一种计算平台任务数据压缩切换方法，包括：

针对所述计算平台，获取表征支持对其任务数据进行压缩的正向压缩指标，以及表征不支持对其任务数据进行压缩的的负向压缩指标；

根据所述正向压缩指标和所述负向压缩指标，判断所述计算平台是否符合压缩切换条件；

如果所述计算平台符合压缩切换条件，则压缩计算平台的任务数据，否则，不压缩计算平台的任务数据。

结合第一方面，在本申请第一方面第一种可行的实施方式中，针对所述计算平台，

所述获取表征支持对其任务数据进行压缩的正向压缩指标，包括：获取所述计算平 台的CPU余量和内存余量中的至少一项；

所述获取表征不支持对其任务数据进行压缩的负向压缩指标，包括：获取所述计算平台的磁盘余量和网络传输余量中的至少一项。

结合第一方面，或者第一方面第一种可行的实施方式，在本申请第一方面第二种可行的实施方式中，根据所述正向压缩指标和所述负向压缩指标，判断所述计算平台是否符合压缩切换条件，包括：

根据所述正向压缩指标计算所述正向压缩指数；其中，所述正向压缩指数与所述正向压缩指标正相关；

根据所述负向压缩指标计算所述负向压缩指数；其中，所述负向压缩指数与所述负向压缩指标正相关；

根据所述正向压缩指数和所述反向压缩指数，判断所述计算平台是否符合压缩切换条件。

结合第一方面第二种可行的实施方式，在本申请第一方面第三种可行的实施方式中，根据所述正向压缩指数和所述反向压缩指数，判断所述计算平台是否符合压缩切换条件，包括：

根据所述正向压缩指数和所述反向压缩指数的比值，确定所述计算平台的压缩切换指数；

判断所述压缩切换指数是否在预设压缩区间内，如果是，则判定所述计算平台符合压缩切换条件，否则判定所述计算平台不符合压缩切换条件。

结合第一方面第二种可行的实施方式，在本申请第一方面第四种可行的实施方式中，根据所述正向压缩指数和所述反向压缩指数，判断所述计算平台是否符合压缩切换条件，包括：

比较所述正向压缩切换指数与预设正向压缩阈值，并比较所述负向压缩切换指数与预设反向压缩阈值；

如果所述正向压缩指数不小于所述正向压缩阈值且所述反向压缩指数不大于所述反向压缩阈值，则判定所述计算平台符合压缩切换条件，否则判定所述计算平台不符合压缩切换条件。

本申请第二方面，提供一种计算平台任务数据宜压缩程度评价方法，包括：

获取表征支持对所述计算平台任务数据进行压缩的正向压缩指标；

获取表征不支持对所述计算平台任务数据进行压缩的负向压缩指标；

根据所述正向压缩指标和所述负向压缩指标，确定表征所述计算平台任务数据宜压缩程度的压缩切换指数。

结合第二方面，在第二方面第一种可行的实施方式中，所述获取所述计算平台的正向压缩指标，包括：

获取计算平台的CPU余量和内存余量中的至少一个；

所述获取所述计算平台的反向压缩指标，包括：

获取所述计算平台的磁盘余量和网络传输余量中的至少一个。