[发明专利]一种异常流数据的修复方法、系统及相关装置

权利要求书

1.一种异常流数据的修复方法，其特征在于，包括：

利用目标数据标识确定Redis数据库中所有携带有所述目标数据标识的同源数据，并获取所述同源数据的特征信息；

根据所述特征信息判断所述同源数据是否存在异常；

若是，则将存在异常的同源数据中的原始数据置入消息中间件；

从所述消息中间件中取出所述原始数据，并将所述原始数据重新置入所述Redis数据库，且按所述特征信息中携带的原数据处理步骤重新对所述原始数据进行数据处理，直至所述同源数据不存在异常。

2.根据权利要求1所述的修复方法，其特征在于，利用目标数据标识确定Redis数据库中所有携带有所述目标数据标识的同源数据，包括：

利用目标MD5值在所述Redis数据库中进行匹配检索，将所有具有所述目标MD5值的数据判定为所述同源数据；其中，所述目标MD5值为利用Hash算法对所述同源数据在各数据处理步骤中未发生改变的数据计算得到。

3.根据权利要求1或2所述的修复方法，其特征在于，根据所述特征信息判断所述同源数据是否存在异常，包括：

从所述特征信息中提取得到所述原始数据对应的原数据处理步骤和所述同源数据的实际数据处理步骤；

判断所述实际数据处理步骤与所述原数据处理步骤是否相同；

若所述实际数据处理步骤与所述原数据处理步骤相同，则判断所述实际数据处理步骤中是否存在数据的逻辑运算步骤；

若存在所述逻辑运算步骤，则对进行所述逻辑运算步骤之前的数据使用与所述逻辑运算步骤相同的逻辑运算规则进行二次校验，并根据得到的校验结果是否与原运算结果一致判断所述同源数据是否存在异常。

4.根据权利要求3所述的修复方法，其特征在于，将存在异常的同源数据中的原始数据置入消息中间件，包括：

将存在异常的同源数据中的原始数据置入Kafka的任务队列中。

5.一种异常流数据的修复系统，其特征在于，包括：

特征信息获取单元，用于利用目标数据标识确定Redis数据库中所有携带有所述目标数据标识的同源数据，并获取所述同源数据的特征信息；

异常判断单元，用于根据所述特征信息判断所述同源数据是否存在异常；

原始数据置入单元，用于在所述同源数据存在异常时，将存在异常的同源数据中的原始数据置入消息中间件；

数据重新处理单元，用于从所述消息中间件中取出所述原始数据，并将所述原始数据重新置入所述Redis数据库，且按所述特征信息中携带的原数据处理步骤重新对所述原始数据进行数据处理，直至所述同源数据不存在异常。

6.根据权利要求5所述修复系统，其特征在于，所述特征信息获取单元包括：

MD5值获取目标数据子单元，用于利用目标MD5值在所述Redis数据库中进行匹配检索，将所有具有所述目标MD5值的数据判定为所述同源数据；其中，所述目标MD5值为利用Hash算法对所述同源数据在各数据处理步骤中未发生改变的数据计算得到。

7.根据权利要求5或6所述的修复系统，其特征在于，所述异常判断单元包括：

数据处理步骤提取子单元，用于从所述特征信息中提取得到所述原始数据对应的原数据处理步骤和所述同源数据的实际数据处理步骤；

处理步骤一致判断子单元，用于判断所述实际数据处理步骤与所述原数据处理步骤是否相同；

逻辑运算步骤存在判断子单元，用于当所述实际数据处理步骤与所述原数据处理步骤相同时，判断所述实际数据处理步骤中是否存在数据的逻辑运算步骤；

二次校验及异常判定子单元，用于当存在所述逻辑运算步骤时，对进行所述逻辑运算步骤之前的数据使用与所述逻辑运算步骤相同的逻辑运算规则进行二次校验，并根据得到的校验结果是否与原运算结果一致判断所述同源数据是否存在异常。

8.根据权利要求7所述的修复系统，其特征在于，所述原始数据置入单元包括：

置入Kafka子单元，用于将存在异常的同源数据中的原始数据置入Kafka的任务队列中。