[发明专利]一种磁盘阵列重建方法和设备

说明书

技术领域

本发明涉及通信技术领域，特别涉及一种磁盘阵列重建方法和设备。

背景技术

视频监控业务中，视频信号通过摄像头进入EC(视频编解码器)，通过编码模块将1秒钟数据编译成一个指定码率大小的I帧组(由一个I帧和多个P帧组成)。这个过程中每编译出的一个I帧或P帧都将被放入EC的缓存区中。EC发包模块每次从缓存区取出一个I帧组(1秒数据)，通过TCP(TransmissionControl Protocol，传输控制协议)协议向存储设备发送报文。存储设备将报文数据存储到数据盘后返回一个反馈信息通知EC继续发送，发包模块从缓存区中重新获取一个I帧组，继续之前的发送步骤。

EC缓存区大小是有限的，一般只能缓存几秒到几十秒的数据。如果存储设备处理I/O(Input/Output，输入/输出)的性能较低，完成数据存储的时间大于1秒，使得EC发包模块从缓存区获取I帧组的时间也相应变长，数据生成速度大于取出速度导致EC缓存区的水位上涨。当水位超过缓存大小时，后续从编译模块过来的I帧(或P帧)就会覆盖原先在缓存中的数据，导致丢包。

在实际的应用中，阵列重建时存储性能下降主要有两个原因导致：

第一个原因，如图1所示，当磁盘3损坏，RAID5阵列降级后进行重建时，需要分别从磁盘1、2、4、5中将条带数据和校验位读出，使各磁盘处于频繁读取数据状态，因此磁盘对其他操作的响应时间将大大增加，也就使的阵列写盘性能急剧下降。

第二个原因，当条带数据和校验和从磁盘中读出后，将交由校验和芯片处理，计算丢失磁盘3上的相应数据或者校验和，计算得到的数据直接写入重建的磁盘中。此过程RAID(Redundant Array of Independent Disk，独立冗余磁盘阵列)存储设备上的校验和芯片一致处于繁忙状态，对新数据写入后的校验相应缓慢，也是导致整个存储设备性能降低的原因。

现有存储设备为了数据的安全一般会采用带有冗余能力的阵列进行存储，但当冗余阵列发生数据盘丢失并进行重建时，存储设备的性能将会有较明显的下降，部署时需要考虑重建丢包情况，导致正常状态下配置存储设备时无法到达匹配的EC能力。

目前现有的方案，为了保证在存储设备出现阵列重建性能下降后EC不发生丢包，在方案部署时存储上分配的EC存储计划数量是按阵列同时重建时的性能实施的。

比如在一个实施的方案中，一个DM控制4个存储存储设备，每个存储设备下有4个RAID5阵列(每个阵列由15+1个磁盘组成)，当存储设备下的阵列都处于normal状态时，每个存储设备最多可处理220路EC 4Mb存储流不发生丢包，四台存储设备则为880路。当某个存储设备下有1个阵列重建时，这个存储设备存储的监控数据流最大不超过160路时不会发生丢包。

而存储设备中一个阵列发生重建概率是非常大的，所以监控方案部署时为了避免EC端丢包现象的发生，每台存储设备下分配的4Mb存储流最多不超过160路！那么在上面这个由一个DM管理、4个存储设备组成的实施方案最大可存储的4Mb存储流为160x4＝640路。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

现有的技术使用阵列重建时的处理能力来部署实施方案，浪费了一部分存储设备正常状态下的处理性能，在相当大部分存储阵列正常状态的时间里，存储系统的存储能力无法得到充分运用。

发明内容

本发明提供一种磁盘阵列重建方法和设备，解决了冗余阵列发生数据盘丢失并进行重建时，存储设备的性能下降导致监控数据丢失的问题。

为达到上述目的，本发明一方面提供了一种磁盘阵列重建方法，应用于包含一个数据管理服务器、多个存储设备和多个编码设备的系统中，所述编码设备向相对应的存储设备中存储数据信息，所述数据管理服务器用于对所述多个存储设备进行管理，所述存储设备中包含一个或多个存储阵列，所述数据管理服务器为所述多个存储设备分别设置存储流量计数器和存储流量阈值，所述方法具体包括以下步骤：

当所述数据管理服务器接收到一个存储设备发送的待重建存储阵列的重建通知消息时，所述数据管理服务器判断当前是否存在存储流量计数器的数值没有达到存储流量阈值的其他存储设备；

如果存在，所述数据管理服务器在一个或多个存储流量计数器的数值没有达到存储流量阈值的存储设备中创建临时存储资源，并将需要向所述待重建存储阵列中存储数据的编码设备的存储目标地址设定为所述临时存储资源的地址；