[发明专利]实时大数据镜像存储方法及装置

权利要求书

1.一种实时大数据镜像存储方法，其特征在于，包括：

接收实时数据源；

对所述实时数据源中的原始数据进行行列拆分，获取所述原始数据的原始数据记录数；并对所述原始数据按预设的镜像算法进行镜像处理，得到镜像后的数据结果，再将所述数据结果存储至缓存变量中，记录所述缓存变量中的缓存数据记录数；

若所述缓存变量的大小达到设定值，则判断所述原始数据记录数与所述缓存数据记录数的误差是否小于预设阈值；

若小于，则将所述缓存变量中的缓存数据按指定的配置路径存储至存储文件中，记录所述存储文件中的存储数据记录数；

判断所述缓存数据记录数与所述存储数据记录数的误差是否小于预设阈值；若小于，则将所述存储文件发送至外部分布式存储系统进行存储；

其中，所述对原始数据按预设的镜像算法进行镜像处理，得到镜像后的数据结果，包括：

加载数据镜像配置表；

根据所述配置表中配置的列数据镜像映射关系，对所述原始数据中每一行进行列数据镜像处理，得到镜像后的数据结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取本机系统的资源情况，并计算本机系统当前的资源负载值；

若所述本机系统的资源负载值大于第一阈值，则减少数据镜像处理队列；

若所述本机系统的资源负载值小于第二阈值，则增加数据镜像处理队列；

其中第一阈值大于第二阈值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取外部分布式存储系统的资源情况，并计算外部分布式存储系统当前的资源负载值；

若所述外部分布式存储系统的资源负载值大于第三阈值，则减少数据镜像存储队列；

若所述外部分布式存储系统的资源负载值小于第四阈值，则增加数据镜像存储队列；

其中第三阈值大于第四阈值。

4.一种实时大数据镜像存储装置，其特征在于，包括：

数据接收模块，用于接收实时数据源；

数据镜像处理模块，用于对所述实时数据源中的原始数据进行行列拆分，获取所述原始数据的原始数据记录数；并对所述原始数据按预设的镜像算法进行镜像处理，得到镜像后的数据结果，再将所述数据结果存储至缓存变量中，记录所述缓存变量中的缓存数据记录数；

数据检验模块，用于若所述缓存变量的大小达到设定值，则判断所述原始数据记录数与所述缓存数据记录数的误差是否小于预设阈值；

数据镜像存储模块，用于若判断小于，则将所述缓存变量中的数据按指定的配置路径存储至存储文件中，记录所述存储文件中的存储数据记录数；

所述数据检验模块，还用于判断所述缓存数据记录数与所述存储数据记录数的误差是否小于预设阈值；若小于，则将所述存储文件发送至外部分布式存储系统进行存储；

其中，所述数据镜像处理模块，进一步用于：

加载数据镜像配置表；

根据所述配置表中配置的列数据镜像映射关系，对所述原始数据中每一行进行列数据镜像处理，得到镜像后的数据结果。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括计算资源监控模块，用于：

获取本机系统的资源情况，并计算本机系统当前的资源负载值；

若所述本机系统的资源负载值大于第一阈值，则减少数据镜像处理队列；

若所述本机系统的资源负载值小于第二阈值，则增加数据镜像处理队列；

其中第一阈值大于第二阈值。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括计算资源监控模块，用于：

获取外部分布式存储系统的资源情况，并计算外部分布式存储系统当前的资源负载值；

若所述外部分布式存储系统的资源负载值大于第三阈值，则减少数据镜像存储队列；

若所述外部分布式存储系统的资源负载值小于第四阈值，则增加数据镜像存储队列；

其中第三阈值大于第四阈值。