[发明专利]一种异常流数据的修复方法、系统及相关装置

说明书

本申请公开了一种异常流数据的修复方法，该方法利用在Redis数据库流数据中能够唯一确定出一系列同源数据的数据标识获取这一系列同源数据的特征信息，并基于该特征信息进行异常判断，将存在异常的同源数据中的原始数据置入消息中间件，以在保证其持久性和完整性的前提下返回原处理环境重新执行原处理流程，直至在下一次异常判断中判定出不再存在异常，能够更全面、无遗漏的获取该一系列同源数据，且利用消息中间件使原始数据保持原始特性，数据修复效果更佳。本申请还同时公开了一种异常流数据的修复系统、装置及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据监控技术领域，特别涉及一种异常流数据的修复方法、系统、装置及计算机可读存储介质。

背景技术

随着大数据时代的到来，一个复杂的系统中，数据处理流转可能需要经历很多环节，并且数据量每天可能到上亿条甚至几十亿条时。如何在如此大的数据量上保证每条数据在每个环节中正确的处理，以及如何在某个环节中出现问题能够自动修复，成为一个技术难题。

现有技术提出的解决方案主要分为硬件出现问题时的修复和数据存储节点出现问题时的修复，仅涵盖了这两个步骤，并没有保证数据处理各个环节无遗漏的处理，更无法在某个环节出现问题时实现自动识别并自动发起修复以实现更好的修复效果，实际使用过程中无法对所有流程和环节进行全方面的监控，实际使用效果不好。

所以，如何克服现有数据监控及修复技术存在的各项技术缺陷，提供一种数据监控更全面、能够自动识别并发起修复的数据监控及修复方案是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种异常流数据的修复方法，利用在Redis数据库流数据中能够唯一确定出一系列同源数据的数据标识获取这一系列同源数据的特征信息，并基于该特征信息进行异常判断，将存在异常的同源数据中的原始数据置入消息中间件，以在保证其持久性和完整性的前提下返回原处理环境重新执行原处理流程，直至在下一次异常判断中判定出不再存在异常，能够更全面、无遗漏的获取该一系列同源数据，且利用消息中间件使原始数据保持原始特性，数据修复效果更佳。

本申请的另一目的在于提供了一种异常流数据的修复系统、装置及计算机可读存储介质。

为实现上述目的，本申请提供一种异常流数据的修复方法，该修复方法包括：

利用目标数据标识确定Redis数据库中所有携带有所述目标数据标识的同源数据，并获取所述同源数据的特征信息；

根据所述特征信息判断所述同源数据是否存在异常；

若是，则将存在异常的同源数据中的原始数据置入消息中间件；

从所述消息中间件中取出所述原始数据，并将所述原始数据重新置入所述Redis数据库，且按所述特征信息中携带的原数据处理步骤重新对所述原始数据进行数据处理，直至所述同源数据不存在异常。

可选的，利用目标数据标识确定Redis数据库中所有携带有所述目标数据标识的同源数据，包括：

利用目标MD5值在所述Redis数据库中进行匹配检索，将所有具有所述目标MD5值的数据判定为所述同源数据；其中，所述目标MD5值为利用Hash算法对所述同源数据在各数据处理步骤中未发生改变的数据计算得到。

可选的，根据所述特征信息判断所述同源数据是否存在异常，包括：

从所述特征信息中提取得到所述原始数据对应的原数据处理步骤和所述同源数据的实际数据处理步骤；

判断所述实际数据处理步骤与所述原数据处理步骤是否相同；

若所述实际数据处理步骤与所述原数据处理步骤相同，则判断所述实际数据处理步骤中是否存在数据的逻辑运算步骤；