[发明专利]一种基于云海Insight集群压缩负载方法及系统

说明书

本发明涉及一种基于云海Insight集群压缩负载方法及系统，包括以下步骤：S1：配置CPU的阈值参数，并使配置的阈值参数生效；S2：获取当前服务器的CPU负载信息；S3：获取集群的CPU负载信息；S4:比较步骤S1中CPU阈值、步骤S2中的CPU负载值以及步骤S3中的集群的CPU负载值，在三者中选择最小值作为预警阈值；S5：执行FPGA压缩解压缩服务。

技术领域

本发明属于压缩负载技术领域，具体涉及一种基于云海Insight集群压缩负载方法及系统。

背景技术

在大数据应用生产环境下，用户为了提升传输速率，对大量数据文件进行了压缩操作。然大量的压缩任务会给CPU增加负载量，若存在文件并发压缩、耗时长，会占用大量的CPU，导致其他Yarn任务挂起，甚至进程锁死或者失败，发生不必要的事故。此为现有技术中存在的缺陷和不足。

有鉴于此，本发明提供一种基于云海Insight集群压缩负载方法及系统；以解决现有技术中存在的上述缺陷和不足。

发明内容

针对现有技术中存在的由于大量数据文件的压缩，导致CPU解压缩的负载量增加，继而导致进程锁死或者失败的情况；本发明提供一种基于云海Insight集群压缩负载方法及系统，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种基于云海Insight集群压缩负载方法，包括以下步骤：

S1：配置CPU的阈值参数，并使配置的阈值参数生效；具体的步骤如下：

在/etc/profile中配置阈值参数并使其生效，配置格式示例：

CPU_THREAHOLD＝70；70表示CPU阈值为70％；

VAR_FPGA_OBJ＝cluster；可配置为空，也可配置native、cluster、none，配置除此之外的配置表示不启动FPGA压缩功能。

S2：获取当前服务器的CPU负载信息；

通过服务器指令top获取当前服务器的CPU负载量的信息，并将获取到的CPU负载信息赋值予Native_cpuinfo；

S3：获取集群的CPU负载信息；

通过云海Insight平台提供的restful接口获取集群CPU负载量信息，并将获得到的集群CPU负载信息赋值予Cluster_cpuinfo；本发明提供以下代码予以实现：

S4:比较步骤S1中CPU阈值、步骤S2中的CPU负载值以及步骤S3中的集群的CPU负载值，在三者中选择最小值作为预警阈值；

S5：执行FPGA压缩解压缩服务；执行./ifpga-server或开启VAR_FPGA_OBJ开启FPGA压缩解压缩服务。

第二方面，本发明提供一种基于云海Insight集群压缩负载系统，包括：

CPU阈值配置模块，配置CPU的阈值参数，并使配置的阈值参数生效；在/etc/profile中配置阈值参数并使其生效，配置格式示例：

CPU_THREAHOLD＝70；70表示CPU阈值为70％；

VAR_FPGA_OBJ＝cluster；可配置为空，也可配置native、cluster、none，配置除此之外的配置表示不启动FPGA压缩功能。