[发明专利]索引加载方法和装置

说明书

本发明公开了一种索引加载方法和装置，所述方法包括以下步骤：将存储数据拆分为至少两组；创建至少两个加载线程；利用各个加载线程并行扫描各组存储数据进行索引加载。本发明实施例所提供的一种索引加载方法，通过将存储数据拆分成多组，并创建多个加载线程，利用多个加载线程并行扫描多组存储数据，实现了多线程并发加载，使得加载速度成倍提高，从而大大提升了缓存服务重启后的索引加载速度，解决了存储的数据量较大时缓存服务重启时间过久的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种索引加载方法和装置。

背景技术

在基于磁盘或者共享内存的存储系统里，索引是相对原始存储而言，相对独立的内存存储数据结构。以缓存系统为例，索引的存储内容一般是对应存储数据值的指针，其中，指针可以理解为存储一个变量地址的的对象。

为了方便维护和高效使用，索引一般存储在服务器的缓存服务进程的内存里，所以当缓存服务重启时(即杀死原服务进程，重新启动新服务进程时)，内存里的索引需要从零开始加载。目前的索引加载方法，是遍历扫描存储空间中的全部存储数据，根据存储数据在缓存服务进程的内存中重建索引结构。

现有的索引加载方法，当存储数据的数量不大时，加载速度尚可接受。但是，当数据量特别大时，比如存储了50G字节(Bbyte)的数据，每个数据占用50字节的空间，则一共是10亿条数据记录，遍历10亿次的开销是巨大的，一般的2.0Ghz主频的Linux服务器完成这样的重建至少需要几十分钟，对于缓存服务重启来说，这样的时间消耗是不可以接受的。

因此，如何提升缓存服务重启时的索引加载速度，避免存储的数据量较大时缓存服务重启时间过久，是当前亟需解决的技术问题。

发明内容

本发明实施例的主要目的在于提供一种索引加载方法和装置，旨在提高缓存服务重启时的索引加载速度，解决存储的数据量较大时缓存服务重启时间过久的技术问题。

为达以上目的，一方面提出一种索引加载方法，所述方法包括以下步骤：

将存储数据拆分为至少两组；

创建至少两个加载线程；

利用各个加载线程并行扫描各组存储数据进行索引加载。

可选地，所述将存储数据拆分为至少两组包括：

将存储空间拆分为至少两个子空间；

建立存储数据的键值与子空间的映射关系；

根据所述映射关系将存储数据分组写入各个子空间内。

可选地，所述创建至少两个加载线程包括：

获取每一组存储数据的存储地址；

为每一组存储数据创建一个加载线程，并指向该组存储数据的存储地址。

可选地，所述为每一组存储数据创建一个加载线程的步骤的同时还包括：

为每一组存储数据分配一个加载索引的内存空间。

可选地，所述利用各个加载线程并行扫描各组存储数据进行索引加载包括：利用每个加载线程扫描一组存储数据进行索引加载得到一个索引表，最终获得至少两个索引表。

另一方面，提出一种索引加载装置，所述装置包括：

拆分模块，用于将存储数据拆分为至少两组；

创建模块，用于创建至少两个加载线程；

扫描模块，用于利用各个加载线程并行扫描各组存储数据进行索引加载。