[发明专利]海量归档流数据存储方法

摘要

本发明公开了一种海量归档流数据存储方法，目的是依据归档流数据的特性解决海量归档流数据的存储，提高归档流数据的管理规模、访问性能和可靠性。技术方案是先构建加载池和归档池，加载池实时存储高速产生的归档流数据，归档池存储从加载池转移出来的更大规模的归档数据；周期性生成只读数据库文件MiniRDB，并将MiniRDB存储到归档池；当归档池中多个归档数据库节点出现故障时，采用并行分布恢复方法进行恢复。与现有技术相比，采用本发明可存储管理的数据规模更大，数据存储和查询性能更高，数据的可靠性更高。

主权项

一种海量归档流数据存储方法，其特征在于包括如下步骤：第一步，构建加载池和归档池，加载池实时存储高速产生的归档流数据，归档池存储从加载池转移出来的更大规模的归档数据：1.1加载池设计方法是：加载池由m个数据库集群串联组成，m是偶数，每个数据库集群由一组互为备份的数据库节点和一个协调节点通过以太网连接组成；协调节点是一个计算机，它将用户的加载请求按负载均衡的策略分发到所有数据库节点，将用户的查询请求转发到某一个数据库节点；数据库节点是包含磁盘、内存、网卡和数据库的计算机，它负责处理来自协调节点的加载和查询请求；1.2归档池设计方法是：归档池由一组归档数据库节点，一个元数据服务节点，一个查询服务分解节点组成；归档数据库节点是带磁盘的服务器，用于存储一组MiniRDB，并记录存储到本节点的MiniRDB的名称，所述MiniRDB是由加载池中的周期性转移出的数据形成的只读数据库文件；元数据服务节点是服务器，负责记录MiniRDB的元信息即MiniRDB所在的节点、数据时间范围；查询服务分解节点也是服务器，当接收到用户的查询请求时，依据元数据服务节点的MiniRDB的元信息，将查询请求分发到查询所涉及的MiniRDB所在的归档数据库节点；第二步，周期性生成MiniRDB，并将MiniRDB存储到归档池：2.1确定周期C，将包含加载池和归档池的存储系统的运行过程按照周期C进行划分，周期C的确定方法是： C = T ( 1 - R 1 ) ( 2 - R 1 ) ( N s ( 1 - R 1 ) + 1 ) + 2 - R 1 NS是加载池和归档池中的节点数目总和，T是存储系统存储数据在线时间，R1是将数据从原始状态压缩成MiniRDB的压缩比；2.2按周期C实时将数据加载到加载池中：在第一个周期T1，k个数据库集群N1、N2、......，Nk提供数据实时加载和查询服务，k＝m/2；当加载时长达到一个周期C后，进入第二个周期T2，新的k个数据库集群Nk+1、Nk+2、......，Nm投入加载，同时，T1中加载的数据从N1、N2、......，Nk导出后压缩成为MiniRDB1，将MiniRDB1拷贝到归档池；在第三个周期T3，将N1、N2、......，Nk中的数据删除，再次投入到加载业务，同时将T2中Nk+1、Nk+2、......，Nm存储的数据导出压缩后形成MiniRDB2，将MiniRDB2拷贝到归档池；类似的，在第s个周期Ts中，将Ts-2中投入的k个节点的数据删除，再次投入到加载业务，同时将Ts-1中的另外k个节点存储的数据导出压缩后形成MiniRDBs-1，s是存储系统运行期中的某一个周期的编号；2.3将每个副本存储到对应的归档数据库节点；2.4将MiniRDBi的p个副本的名称、所在归档数据库节点编号注册到元数据服务节点，同时将p个副本分别注册到所在的归档数据库节点，然后由数据库引擎以只读方式打开p个副本；当查询请求达到时，查询服务分解节点将查询请求转发到查询所涉及的副本所在的归档数据库节点；p是依据可靠性要求确定的文件副本数，i为正整数；第三步，当归档池中多个归档数据库节点出现故障时，采用并行分布恢复方法进行恢复，即按只读数据块恢复方法并行恢复该故障节点上所有MiniRDB：对出现故障的只读数据库MiniRDBi进行恢复的方法是：3.1选择归档池中某个可用的归档数据库节点作为临时目标节点，将MiniRDBi副本拷贝到临时目标节点上，具体过程如下：1)使用均匀随机函数确定该故障归档数据库节点上的MiniRDBi的临时目标节点，节点编号t为：t＝random()，1≤t≤N，N是归档池中归档数据库节点的个数；2)依据MiniRDBi的分布信息，和其它p-1个副本所在节点的带宽占用情况，选择带宽最为空闲的归档数据库节点作为源节点；3)按照选取的源节点和临时目标节点，将文件MiniRDBi从源节点拷贝到临时目标节点；3.2当故障节点修复或被替换成新节点后，将临时目标节点上的MiniRDBi拷贝到已修复的故障节点上，源节点仍然从包含待恢复副本的p个节点中选择带宽最大的节点；3.3当所有副本恢复到已修复的故障节点上后，将临时目标节点上的MiniRDBi删除；对于该故障节点上的其它文件，采用3.1～3.3中的方法为每个文件选择源节点和临时目标节点，按照相同的流程同时进行恢复，从而实现并发恢复。