[发明专利]一种基于内存的分布式异常数据处理方法和设备

权利要求书

1.一种基于内存的分布式异常数据处理方法，其特征在于包括如下步骤：

复数个正常数据处理模块开始业务数据处理，将所述业务数据处理中的待备份数据建立备份数据集合，所述备份数据集合是按照时间顺序排列的有序集合；

在所述正常数据处理模块开始之后的预定时间，备份数据处理模块开始对所述复数个正常数据处理模块的轮询；

在所述备份数据处理模块的轮询中，查询所述复数个正常数据处理模块中的第一正常数据处理模块的备份数据集合是否有小于当前时间戳的备份数据；

响应于所述第一正常数据处理模块的备份数据集合有小于当前时间戳的备份数据，获取所述备份数据的数据类型和数据处理状态，根据所述数据类型和数据处理状态进行相应的备份处理。

2.如权利要求1所述的分布式异常数据处理方法，其特征在于所述数据类型包括：null类型、string类型和hash类型。

3.如权利要求2所述的分布式异常数据处理方法，其特征在于：所述获取所述备份数据的数据类型和数据处理状态，根据所述数据类型和数据处理状态进行相应的备份处理包括：

确定所述备份数据的数据类型和数据处理状态；

在确定出所述备份数据的数据类型为string类型且数据处理状态为第一状态值时，确定所述备份数据对应的正常数据的备份信息和hash值是否存在，响应于所述备份信息和hash中的一个或两个不存在，删除所述备份数据对应的有序集合项目和所述备份信息，响应于所述备份信息和hash都存在，记录模块积压数据一次，并且重置所述备份数据的hash_key的score为当前时间戳+默认超时时间+正常等待次数*正常等待时间递增间隔，其中，+为算数加法符号，*为算数乘法符号；

在确定出所述备份数据的数据类型为string类型且数据处理状态为第二状态值时，确定失败确认状态，响应于失败确认状态为第一失败状态，将失败确认状态设置为第二值，并把所述备份数据的超时时间更新为预定数值，响应于再次超时且数据处理状态为所述第二状态值且所述失败确认状态为所述第二值，确定所述备份数据的hash_key执行失败，计算所述备份数据的hash_key执行失败的次数，若执行失败的次数小于预定的阈值，则将执行失败的次数加1，并且将超时时间重置为当前时间戳+默认超时时间，删除失败确认状态和数据处理状态，按照所述有序集合中的关联信息放入正常数据模块的正常数据队列进行处理；若执行失败次数大于或等于预定的阈值，删除所述有序集合中的备份数据对应的项目，并将所述对应的项目放入错误存储队列；

确定出在确定出所述备份数据的数据类型为string类型且数据处理状态为第三状态值时，删除所述备份数据对应的正常数据、有序集合中的项目和备份信息以及数据处理状态。