[发明专利]一种基于前置分布式数据库的海量数据处理方法及系统

权利要求书

1.一种基于前置分布式数据库的海量数据处理方法，其特征在于，包括以下步骤：

步骤一：获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；

步骤二：根据所述当前时间和所述交易日期之间的间距与阈值进行比较；

步骤三：若所述当前时间和所述交易日期之间的间距大于阈值，则所述交易日期对应的数据为冷数据，且将所述交易日期对应的数据存储至所述全量集群；

步骤四：若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群。

2.根据权利要求1所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述获取当前时间和分布式数据库中记录的交易日期之前，所述步骤还包括：

基于所述分布式数据库中不同表以及不同用户的不同权限，创建当前应用程序的接口。

3.根据权利要求2所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述创建当前应用程序的接口之前，所述步骤还包括：

在所述前置集群以及所述全量集群中，创建结构一致的表、索引以及分片建。

4.根据权利要求1所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，在所述若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群之后，所述步骤还包括：

通过脚本程序定时将所述前置集群中的数据存储至所述全量集群。

5.根据权利要求4所述的一种基于前置分布式数据库的海量数据处理方法，其特征在于，通过脚本程序定时将所述前置集群中的数据存储至所述全量集群之后，所述步骤还包括：

通过脚本程序定时根据自定义路由规则清除所述前置集群中过期数据。

6.一种基于前置分布式数据库的海量数据处理系统，其特征在于，所述系统包括：

获取单元，用于获取当前时间和分布式数据库中记录的交易日期，所述分布式数据库包括前置集群和全量集群；

比较单元，用于根据所述当前时间和所述交易日期之间的间距与阈值进行比较；

第一存储单元，用于若所述当前时间和所述交易日期之间的间距大于阈值，则所述交易日期对应的数据为冷数据，且将所述交易日期对应的数据存储至所述全量集群；

第二存储单元，用于若所述当前时间和所述交易日期之间的间距小于等于阈值，则所述交易日期对应的数据为热数据，且将所述交易日期对应的数据存储至所述前置集群。

7.根据权利要求6所述的一种基于前置分布式数据库的海量数据处理系统，其特征在于，所述系统还包括：

第一创建单元，用于基于所述分布式数据库中不同表以及不同用户的不同权限，创建当前应用程序的接口。

8.根据权利要求7所述的一种基于前置分布式数据库的海量数据处理系统，其特征在于，所述系统还包括：

第二创建单元，用于在所述前置集群以及所述全量集群中，创建结构一致的表、索引以及分片建。

9.根据权利要求8所述的一种基于前置分布式数据库的海量数据处理系统，其特征在于，所述系统还包括：

第三存储单元，通过脚本程序定时将所述前置集群中的数据存储至所述全量集群。

10.根据权利要求7所述的一种基于前置分布式数据库的海量数据处理系统，其特征在于，所述系统还包括：

清除单元，用于通过脚本程序定时根据自定义路由规则清除所述前置集群中过期数据。