[发明专利]构建列存储索引的方法、装置及系统

权利要求书

1.一种构建列存储索引的方法，其特征在于，包括：

获取即时生效文档，所述即时生效文档包括：标识数据和所述标识数据关联的动态数据；

在内存中根据所述即时生效文档创建列存储式索引结构的文档，生成柱状索引文件，所述柱状索引文件包括标识列和数据存储列，其中，所述标识列用于保存所述标识数据，所述数据存储列用于保存所述标识数据关联的动态数据；

在所述内存中保存所述柱状索引文件。

2.根据权利要求1所述的方法，其特征在于，所述柱状索引文件包括多列数据存储列i，每列所述数据存储列i分别保存大小为2^i byte的动态数据，1≤i≤n，n为自然数，其中，大于等于2^n byte的动态数据，都保存在第n列数据存储列n中。

3.根据权利要求2所述的方法，其特征在于，在获取即时生效文档之前，所述方法还包括：

归档定位装置读取输入文档，所述输入文档记录所述动态数据和非动态数据；

在所述归档定位装置中根据所述输入文档来创建索引文件，所述索引文件包括所述即时生效文档和非即时生效文档；

生成所述即时生效文档的镜像文件；

每次系统重启时，所述归档定位装置将所述即时生效文档的镜像文件推送给所述内存。

4.根据权利要求3所述的方法，其特征在于，在所述内存中保存所述柱状索引文件之后，所述方法还包括：

重做日志服务器记录所述输入文档中所述动态数据的实时更新记录，所述实时更新记录保存所述动态数据每次发生更新后的数据；

将所述实时更新记录发送给所述归档定位装置和/或所述内存；

使用所述实时更新记录替换所述即时生效文档中的动态数据。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述内存中保存所述柱状索引文件之前，所述方法还包括：

判断所述柱状索引文件的大小是否大于所述内存的大小，所述内存的大小为预先划分的原始内存空间；其中，

在所述柱状索引文件的大小大于所述原始内存空间的情况下，动态重新分配所述内存的大小，得到新内存空间；

将所述柱状索引文件保存至所述新内存空间。

6.根据权利要求5所述的方法，其特征在于，将所述柱状索引文件保存至所述新内存空间之前，所述方法还包括：对所述柱状索引文件中已经失效的动态数据设置对应的失效标记，使得在所述柱状索引文件保存至所述新内存空间的过程中，不保存具有所述失效标记的动态数据。

7.根据权利要求6所述的方法，其特征在于，动态重新分配所述内存的大小，得到新内存空间的步骤包括：按照如下公式构造所述新内存空间，所述新内存空间的大小Size=(y_used-y_dead)*grow_ratio+constant，其中，所述y_used表征所有被使用的动态数据的数目，所述y_dead表征具有所述失效标记的动态数据的数目，所述grow_ratio表征预设的增长因子，所述constant表征预设的常量，其中，

当前柱状索引文件的大小大于所述新内存空间时，在将所述当前柱状索引文件中的动态数据设置对应的失效标记之后，将所述当前柱状索引文件中不具有失效标记的动态数据保存至所述原始内存空间中。

8.一种构建列存储索引的装置，其特征在于，包括：

获取模块，用于获取即时生效文档，所述即时生效文档包括：标识数据和所述标识数据关联的动态数据；

创建模块，用于在内存中根据所述即时生效文档创建列存储式索引结构的文档，生成柱状索引文件，所述柱状索引文件包括标识列和数据存储列，其中，所述标识列用于保存所述标识数据，所述数据存储列用于保存所述标识数据关联的动态数据；

保存模块，用于在所述内存中保存所述柱状索引文件。

9.根据权利要求8所述的装置，其特征在于，所述柱状索引文件包括多列数据存储列i，每列所述数据存储列i分别保存大小为2^i byte的动态数据，1≤i≤n，n为自然数，其中，大于等于2^n byte的所述动态数据，都保存在第n列数据存储列n中。