[发明专利]一种基于循环神经网络的云存储系统磁盘故障预测方法

说明书

一种基于循环神经网络的云存储系统磁盘故障预测方法，适用于解决基于磁盘SMART属性预测磁盘故障问题。本发明的方法包括：1、设定网络结构：包括输入层、隐含层、健康度层和输出层；2、前向计算：将SMART属性、上一时刻隐含层和输出层作为输入，计算迁移率或误迁移率；3、反向计算：若磁盘生命期未结束，将健康度层误差向隐含层和输入层反馈，反之计算输出层的反馈；4、模型迭代：迭代至收敛，输出权重矩阵；5、模型测试：读入权重矩阵，计算迁移率和误迁移率数值，统计准确率、误报率和提前预测时间。本发明能够有效提高递归神经网络在迁移率和误迁移率上的性能表现，同时在准确率等指标上取得性能提升，更有利于数据迁移和保护。

技术领域

本发明属于磁盘故障预测技术领域，特别涉及一种基于数据迁移率和误迁移率的递归神经网络方法。

背景技术

随着大数据时代的到来，全球数据总量大幅增加，大型数据中心在人们的日常生活中起到了越来越重要的作用。磁盘作为目前信息的主要存储载体，发挥着不容忽视的作用。尽管磁盘个体安全性很高，但在拥有成千上万块磁盘的大型数据中心中，磁盘故障仍然屡见不鲜。磁盘故障会使实际数据中心的系统可靠性和可用性面临挑战，甚至会导致磁盘存储数据的丢失问题，对企业和用户造成大量损失。

传统的被动容错一般使用副本或纠删码技术等冗余机制来应对可能发生的磁盘故障问题，这无疑会增加系统的构建成本，且在对磁盘故障进行处理的过程中，会导致系统的服务能力的降低。因此对磁盘故障进行预测，即主动容错机制，便体现出了它的价值。对磁盘故障进行主动预测，根据预警对危险数据进行迁移操作，不仅可以减少系统的备份冗余开销，而且可以减少发生数据丢失的情况，大幅提高存储系统的性能。

SMART(Self-Monitoring,Analysis and Reporting Technology)技术广泛应用于现在的磁盘当中，实现对磁盘的一些重要属性的实时监测，为磁盘故障预测提供了便利条件。通过统计学或机器学习的方法，利用磁盘SMART属性建立模型，为磁盘故障预测提供了可能。

前人研究的磁盘故障预测模型大多以故障预测准确率和误报率为权衡指标，只能区分磁盘为健康磁盘或故障磁盘，并根据模型预测结果，为所有预测出的故障磁盘的预警迁移操作分配相同的系统资源。因为预测出的不同故障磁盘发生故障的紧急程度不同，如此分配系统资源必然会使用很多系统资源，影响系统效果。

后来有工作尝试对磁盘剩余寿命进行预测，根据不同寿命区间设置相应的迁移速率。预测方法根据预测到相应区间的准确率来评价模型性能，但仍把每条样本看成单独的输入实例，没有关注同一个磁盘对应样本数据的关联性，且预测性能不够理想，不能满足实际数据中心的要求。

故障迁移率和误迁移率的新评价指标，从数据迁移角度建立磁盘故障预测模型。新评价指标的目标不仅仅是预测出危险数据，而是对危险数据进行及时的迁移和保护，更符合实际数据中心的需求，提高了云存储系统的可靠性和可用性。

递归神经网络模型(ReccurentNeural Network，RNN)具有反馈系统，而不是单纯的正向传播机制。因此，由于特殊的网络结构，递归神经网络特别适合模拟时序数据，用于磁盘故障预测可以充分体现磁盘健康度的时序性特征。

前人研究中以故障预测准确率和误报率为评价指标的递归神经网络模型包括输入层、隐含层、输出层和相应层与层之间的权重矩阵。输入层包括w(t)和s(t-1)两部分。w(t)为当前输入的磁盘SMART记录数据，即RNN模型的输入数据；s(t-1)为隐层向输入层的反馈，其中包含了当前时刻之前的信息，是RNN模型时序性的体现。s(t)为隐层数据，y(t)为输出层数据。输出层被划分为level1到level6六个结点，代表6个预期剩余寿命区间，结点值代表RNN模型将当前SMART数据预测到相应预期剩余寿命区间的概率。U、W是输入层和隐层之间的权重矩阵，V是隐层和输出层之间的权重矩阵。RNN模型的主要输出就是这三个权重矩阵，用于根据SMART数据对磁盘故障进行预测。