[发明专利]一种大数据索引方法及系统

说明书

技术领域

本发明涉及大数据背景下数据库索引技术领域，尤其涉及一种大数据索引方法及系统。

背景技术

在信息化的过程中，个人和企业的数据量都在迅速增长。由于社交网络，电子商务和物联网技术的兴起，各种移动终端，传感器和传统设备时刻在产生着各种非结构化数据。2011年麦肯锡公司全球研究所发表研究报告指出，目前数据已渗透到各行业和业务职能领域，逐渐成为人类社会中重要的生产要素。截止2011年底，全球的数据总量达到1.9ZB（1ZB=1×10¹²GB），到2015年将达到8ZB，到2020年将达到大约35ZB。面对数量巨大并且增长迅猛的数据，高效的管理和分析数据已经成为当前信息管理最关注的问题之一。针对这一问题，人们提出了“大数据”的概念。与传统的海量数据不同，大数据除了有巨大的数据规模外，还有着复杂的数据类型和数据关联度。IBM将大数据的特点概括为：海量化（Volume）,快速化（Velocity）以及多样化（Variety）。因此，传统的方法和技术已不适用于大数据的管理和分析。

支持时间连续性的大数据存储是一个非常复杂的问题。为实现对数据的实时分析，必须实现数据的高效插入，并对查询请求做出实时响应。为达到上述目的，需要对持续到来的数据流建立动态索引。在经过实时分析后，暂存的数据需要被迁移到数据仓库进行进一步的数据分析。因此，所建立的索引还需要支持高效率的批量删除操作。LSM-Tree是一种支持数据库写优化的高效索引框架，在当前主流的NoSQL数据库系统中得到了广泛应用。为实现上述目的，本发明提出了一种大数据索引方法及系统。

发明内容

（一）技术问题

大数据在经过实时分析后，暂存的数据需要被迁移到数据仓库进行进一步的数据分析，而根据现有技术建立的索引不支持高效率的批量删除操作，降低了数据的插入以及查询效率，本发明提供一种大数据索引方法及系统以实现数据的批量删除操作，提高大数据的插入及查询效率。

（二）技术方案

为解决上述技术问题，本发明提供了一种大数据索引方法，包括以下步骤：

S1、将与数据中心服务器单元相连的所有终端设备产生的数据送入NoSQL数据库单元；

S2、基于LSM-Tree搜索引擎单元的框架，以Skip List为内存组件，以COLA为外存组件，并在内存中添加Delete Filter模块1和Delete Filter模块2用于支持外存组件上的删除操作，建立pLSM索引引擎单元；

S3、用户执行索引操作，包括插入操作、查询操作、删除操作和更新操作。

所述外存组件包括第一外存组件第二外存组件。

所述Delete Filter模块包括：Delete Filter模块1，结合pLSM索引引擎单元内存中的Bloom Filter模块1用于支持发生在第一外存组件上的删除操作；Delete Filter模块2，结合pLSM索引引擎单元内存中的Bloom Filter模块2用于支持发生在第二外存组件上的删除操作。

所述查询操作包括：

步骤a：在pLSM索引引擎单元内存的内存组件中进行查询，若所查询内容在内存组件中，则返回查询结果；否则进入步骤b；

步骤b：判断所查询内容是否满足既映射在第一外存组件对应的Bloom Filter模块1中且没有映射在第一外存组件对应的Delete Filter模块1中，则在第一外存组件中按照COLA模块的查询算法进行查询并返回查询结果，否则查询第二外存组件；

步骤c：若所查询内容映射在第二外存组件对应的Bloom Filter模块2中且没有映射在第二外存组件对应的Delete Filter模块2中，则在第二外存组件中按照COLA的查询算法进行查询并返回结果，否则查询失败。

所述删除操作包括：

确定所要删除的记录所处的组件，若该记录位于内存组件中，则直接删除；若位于外存组件中，则首先在Delete Filter模块中标记该记录，然后在外存组件的COLA模块中将该记录标记为逻辑上已删除；检查该所涉及外存组件的空置率，若空置率超过给定阈值，则启动碎片整理操作。

所述碎片整理操作的步骤包括：

步骤a、根据外存组件中剩余的记录求出所要插入的最大层次；

步骤b、从第一层开始，把所有非空记录插入到该最大层次的空闲位置，直到最大层次填满为止；