[发明专利]一种大数据索引方法及系统

权利要求书

1.一种大数据索引方法，其特征在于，包括以下步骤;

S1、将与数据中心服务器单元相连的所有终端设备产生的数据送入NoSQL数据库单元；

S2、基于LSM-Tree搜索引擎单元的框架，以Skip List为内存组件，以COLA为外存组件，并在内存中添加Delete Filter模块1和Delete Filter模块2用于支持外存组件上的删除操作，建立pLSM索引引擎单元；

S3、用户执行索引操作，包括插入操作、查询操作、删除操作和更新操作。

2.如权利要求1所述的方法，其特征在于，所述外存组件包括第一外存组件第二外存组件。

3.如权利要求1所述的方法，其特征在于，所述Delete Filter模块包括：Delete Filter模块1，结合pLSM索引引擎单元内存中的Bloom Filter模块1用于支持发生在第一外存组件上的删除操作；Delete Filter模块2，结合pLSM索引引擎单元内存中的Bloom Filter模块2用于支持发生在第二外存组件上的删除操作。

4.如权利要求1所述的方法，其特征在于，所述查询操作包括：

步骤a：在pLSM索引引擎单元内存的内存组件中进行查询，若所查询内容在内存组件中，则返回查询结果；否则进入步骤b；

步骤b：判断所查询内容是否满足既映射在第一外存组件对应的Bloom Filter模块1中且没有映射在第一外存组件对应的Delete Filter模块1中，则在第一外存组件中按照COLA模块的查询算法进行查询并返回查询结果，否则查询第二外存组件；

步骤c：若所查询内容映射在第二外存组件对应的Bloom Filter模块2中且没有映射在第二外存组件对应的Delete Filter模块2中，则在第二外存组件中按照COLA的查询算法进行查询并返回结果，否则查询失败。

5.如权利要求1所述的方法，其特征在于，所述删除操作包括：确定所要删除的记录所处的组件，若该记录位于内存组件中，则直接删除；若位于外存组件中，则首先在Delete Filter模块中标记该记录，然后在外存组件的COLA模块中将该记录标记为逻辑上已删除；检查该所涉及外存组件的空置率，若空置率超过给定阈值，则启动碎片整理操作。

6.如权利要求1所述的方法，其特征在于，所述碎片整理操作的步骤包括：

步骤a、根据外存组件中剩余的记录求出所要插入的最大层次；

步骤b、从第一层开始，把所有非空记录插入到该最大层次的空闲位置，直到最大层次填满为止；

步骤c、取出所述外存组件中剩余所有记录放入缓冲区，清空该外存组件中除上述最大层次之外的所有层次；

步骤d、把缓冲区中所有记录重新批量插入所述外存组件中。

7.一种大数据索引系统，其特征在于，包括：

数据中心服务器单元，接收与其连接的所有终端设备产生的数据并将接收到的数据输入NoSQL数据库单元；

NoSQL数据库单元，用于存储数据中心服务器单元传来的数据；

pLSM索引引擎单元，以COLA为外存组件，以Skip List为内存组件，并在内存中添加Delete Filter模块建立的索引引擎单元，所述Delete Filter模块包括Delete Filter模块1和Delete Filter模块2，分别结合内存中的Bloom Filter模块1和Bloom Filter模块2用于支持发生在外存组件上的删除操作。