[发明专利]分布式存储系统数据处理方法、装置及设备和存储介质

说明书

本申请公开了一种分布式存储系统数据处理方法、装置及设备和介质，方法包括：当从节点出现异常信息时，判断该异常信息是否达到上报级别；如果否，则将该异常信息放入从节点对应的异常队列中；如果是，则将异常信息上报至主节点；对异常队列中的异常信息进行遍历，筛选出异常信息中可直接恢复的错误，主动进行异常恢复。本申请在从节点有异常发生时，只有判断异常达到上报级别时再进行上报，在增加报错准确性的同时降低了主节点的负载。另外，对于异常队列中的错误可以主动筛选低级别可直接恢复的错误进行提前恢复，提高整个系统的容错度，进一步降低了主节点本身的负载和逻辑复杂度，降低了轻微错误大量上报给用户带来的困扰，提升了用户体验。

技术领域

本申请涉及分布式存储技术领域，更具体地说，涉及一种分布式存储系统数据处理方法、装置、设备以及计算机可读存储介质。

背景技术

分布式存储系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

在分布式存储系统中，一个存储集群可能包含几十个甚至上百个存储节点，存储集群中这些节点分为主节点和从节点，用户利用主节点来监控整个集群所有节点的健康状态。但是集群中每个节点会产生大量的信息反馈给主节点，其中所有的异常信息都被无差别的发送至主节点，这样不仅大大增加了主节点的负载，还使得很多轻微错误大量上报，也同时造成了用户的困扰，影响用户的体验。

发明内容

本申请的目的在于提供一种分布式存储系统数据处理方法、装置、设备和一种计算机可读存储介质，在增加报错准确性的同时，降低了主节点的负载。

为实现上述目的，本申请提供了一种分布式存储系统数据处理方法，包括：

当从节点出现异常信息时，判断所述异常信息是否达到上报级别；

如果否，则将所述异常信息放入所述从节点对应的异常队列中；如果是，则将所述异常信息上报至主节点；

对所述异常队列中的异常信息进行遍历，筛选出异常信息中可直接恢复的错误，主动进行异常恢复。

可选的，在所述判断所述异常信息是否达到上报级别之前，还包括：

读取所述从节点对应的异常队列中的历史异常记录；

将所述异常信息与所述历史异常记录进行比对，以判断所述异常信息是否出现过；

如果是，则对出现过的该异常信息的发生时间段以及发生次数进行更新；

如果否，则对未出现过的该异常信息新增异常记录，所述异常记录至少包括异常信息的发生时间段以及发生次数。

可选的，所述判断所述异常信息是否达到上报级别包括：

获取预先建立的异常规则文件，所述异常规则文件用于记录各异常信息达到上报级别时所需的发生时间段规则以及发生次数阈值；

判断所述异常规则文件中是否存在所述异常信息对应的规则记录；

如果存在，则判断所述异常信息在对应发生时间段发生次数是否超过所述发生次数阈值，如果是，则确定所述异常信息达到上报级别；如果否，则确定所述异常信息未达到上报级别。

可选的，在所述判断所述异常规则文件中是否存在所述异常信息对应的规则记录之后还包括：

如果不存在，则将不存在的异常信息记录至日志文件中，并上报至主节点。

可选的，所述筛选出异常信息中可直接恢复的错误，主动进行异常恢复包括：