[发明专利]一种消除硬盘预测数据采集端负载毛刺的方法和装置

说明书

本发明提供一种消除硬盘预测数据采集端负载毛刺的方法，包括以下步骤：通过硬盘预测数据采集端的输入插件创建用于从存储设备节点采集节点数据的多个任务进程；调用随机数生成器生成随机数集合并将所述随机数集合中的随机数顺序压入所述任务进程中；所述任务进程根据所述压入的随机数休眠一段时间后，从所述存储设备节点上采集节点数据。本发明通过控制每个输入插件在采集之前随机休眠一段时间，避免在采集瞬间产生大量任务进程引起系统负载升高。

技术领域

本发明涉及计算机领域，并且更具体地，涉及一种消除硬盘预测数据采集端负载毛刺的方法和装置。

背景技术

硬盘有价，数据无价。硬盘的使用时间是有限的，高温、潮湿、震动、老化等都会导致硬盘变成“病号”，里面的数据将无法保障。磁盘寿命预测是管理软件的重中之重，通过对硬盘的健康状况、使用寿命的检测，我们就能轻松掌握自己硬盘的实际情况，做好维护保养工作。

图1是一种多设备管理软件中集群管理架构，其中磁盘寿命预测服务包括磁盘寿命预测引擎和磁盘寿命预测Agent两部分。磁盘寿命预测引擎与多设备管理软件高度集成，通过大数据分析来进行磁盘各项性能指标和磁盘寿命的预测分析。磁盘寿命预测Agent需要部署在存储集群中，负责采集存储集群中各种类型磁盘的Smart数据、读写IO、读写时延、读写吞吐量性能数据，并上传数据至磁盘预测引擎。但是其采集插件在采集瞬间会创建大量任务进程，引起系统负载升高，亦称为负载毛刺现象，从而会占用一定的系统CPU和内存资源，在一定程度上对用户存储业务产生影响。

发明内容

鉴于此，本发明实施例的目的在于提出一种消除硬盘预测数据采集端负载毛刺的方法和装置，通过控制每个输入插件在采集之前随机休眠一段时间，避免在采集瞬间产生大量任务进程引起系统负载升高。

基于上述目的，本发明实施例的一方面提供了一种消除硬盘预测数据采集端负载毛刺的方法，包括以下步骤：

通过硬盘预测数据采集端的输入插件创建用于从存储设备节点采集节点数据的多个任务进程；

调用随机数生成器生成随机数集合并将所述随机数集合中的随机数顺序压入所述任务进程中；

使所述任务进程根据所述压入的随机数休眠一段时间后，从所述存储设备节点上采集节点数据。

在一些实施方式中，所述通过硬盘预测数据采集端的输入插件创建用于从存储设备节点采集节点数据的多个任务进程包括：

通过所述硬盘预测数据采集端的输入插件周期进行节点数据的采集，其中在采集的周期点，所述输入插件调用相关服务和第三方组件创建多个任务进程以用于从存储设备节点采集节点数据。

在一些实施方式中，所述调用随机数生成器生成随机数集合并将所述随机数集合中的随机数顺序压入所述任务进程中包括：

通过所述输入插件的主线程调用所述随机数生成器生成一个随机数集合，按照顺序从所述随机数集合中获取一个随机数并将所述随机数顺序压入一个所述任务进程中。

在一些实施方式中，所述调用随机数生成器生成随机数集合并将所述随机数集合中的随机数顺序压入所述任务进程中还包括：

所述主线程将所述压入随机数的任务进程存入异步任务队列中。

在一些实施方式中，所述随机数生成器配置为基于正态分布和/或平均分布来生成所述随机数集合。

在一些实施方式中，使所述任务进程根据所述压入的随机数休眠一段时间后，从所述存储设备节点上采集节点数据包括：

所述主线程依次执行所述异步任务队列中的所有任务进程，使所述任务进程根据所述压入的随机数休眠一段时间后，从所述存储设备节点上采集节点数据。

在一些实施方式中，所述任务进程中包括任务的索引、任务所对应的采集插件以及任务执行的倒计时器。