[发明专利]用于数据迁移的方法和系统

说明书

技术领域

本发明涉及一种数据处理方法，更具体地，涉及一种用于数据迁移的方法和系统。

背景技术

在目前的大数据时代，数据迁移是频繁发生的事情。图2示出了一个典型的数据迁移的过程，其适用于目前商业应用最广泛的各种数据库系统，其从一个源数据库（DB1）中的源数据表（表1）中，将该表中的所有数据都迁移到目标数据库（DB2）中的具有相同结构或者不同结构的目标数据表（表2）中，现有的技术一般步骤是先将源数据表（表1）中的数据导出到一个中间文件中形成中间数据，该中间文件可以采用各种文件的形式，当然也可以采用相关数据库的表的形式，但其数据信息是与源数据表中的数据信息是一致的，比如中间数据的行与内容与源数据表的行是一一对应的，接着从中间文件（MF）中将中间数据导入到目标数据表中（表2），并根据目标数据表重新生成用于对目标数据表进行检索的目标索引。

主流关系数据库中的索引通常都是B+树或B-树。其中树的叶子节点由索引项（index entries）组成，具体索引项结构为键值/行标识集合构成的二元组如：<KeyValue,{RID₁,.,RID_n}>，n为自然数，其中键值(KeyValue)就是数据表中被索引的列上（一列或多列）的值，例如：表中有一“省份”列，那么如果对该列建索引的话，其相应索引叶子节点上的键值就可能是：河北、河南、湖北、湖南等，一般会按升序或降序排列。RID（行标识）就是某键值所对应的数据表中的各数据行的标示信息（唯一索引对应一行、非唯一索引可对应多行）。由于其一般对应于某数据行的具体物理存储信息，在数据迁移过程中不可重用。还是用“省份”列索引举例：那么“省份”索引中的典型性叶子节点通常如下所示：

索引叶子项1：<“河北”，{RID₁，RID₅，RID₇，……，RID_j}>，表示键值“河北”分别在第1、5、7、……j行出现，j为自然数；

索引叶子项2：<“河南”，{RID₂，RID₃，RID₆，……，RID_k}>，表示键值“河南”分别在第2、3、6、……k行出现，k为自然数等等。

目前关系型数据库生成索引一般包括如下步骤：

（1）数据库引擎（Database Engine）可以通过遍历（scan）各个数据表，依次抽取各数据行（记录）的索引键值key values并构造相应的“索引叶子项”；

（2）以数据库排序空间为单位，对上述“索引叶子项”进行排序，并将排序后的结果写入磁盘作为“中间排序子序列”。

（3）重复（1）、（2），直至所有数据记录被遍历并将相应索引叶子项写入“中间排序子序列”。

（4）在内存中，对各“中间排序子序列”进行归并（merge）排序并生成一个单排序序列，并用其构建索引。其过程如下：

（a）从各中间排序子序列的第一个索引项中，找到键值最小（大）的索引项，如符合条件的索引项不唯一则进行整合，用键值最小（大）的索引项构建第一个索引叶子节点；

（b）依次处理剩下的键值最小（大）的索引项；当处理的索引项填满第一个索引叶子块后，将其写入磁盘，并开始构建下一个索引叶子块；

（c）在写索引叶子块的同时，构造索引中间节点，并在其填满一个索引块后，将其写入磁盘；

（d）重复步骤（a）、（b）、（c），直至全部索引构造结束。

采用上述传统数据迁移方式存在着这样一个普遍的问题，由于目标数据表中通常存有大量数据，在目标数据表中直接重建索引经常会花费大量时间，以至于严重影响正常业务。

发明内容

本发明提供一种用于数据迁移的方法和系统。

根据本发明的一个方面，提供了一种用于数据迁移的方法，包括：接收中间数据及其键值-行定位信息映射表；将中间数据的每一行分别导入到目标数据表中对应的每一行，其中目标数据表的每一行具有目标物理行标识；以及基于所述目标物理行标识以及所述键值-行定位信息映射表，建立所述目标数据表的目标索引。