[发明专利]一种为半结构化数据构建NoSQL数据库索引的方法及装置

说明书

本申请提供一种为半结构化数据构建NoSQL数据库索引的方法，包括：将半结构化源数据进行预处理；将预处理后的文本段存储至数据表中，数据表包括结构化线索主键和序列值主键的第一组合主键，结构化线索以确定的顺序被分割为若干连续区间，每一区间分配一个特定的键值作为结构化线索主键的键值；对预处理后的文本段建立倒排索引表，倒排索引表包括结构化线索主键和关键字主键的第二组合主键，对应上述各个主键的键值，记录相关的文本段序列标识作为索引值；关键字主键相同，但具有不同的结构化线索主键键值的索引值，在倒排索引表中位于不同的行；以提高数据库索引的查询效率，并便于更新。另外，本申请还提供一种为半结构化数据构建NoSQL数据库索引的装置。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种为半结构化数据构建NoSQL数据库索引的方法及装置。

背景技术

数据库管理系统(database management system)是一种操纵和管理数据库的方式，用于建立、使用和维护数据库。它对数据库进行统一的管理和控制，以保证数据库的安全性和完整性。

随着大数据时代的到来，交易和交互数据也随之不断增大。其中，对TB数据级的处理，已经成为基本配置；而数据类型也由单一性变为多样性，例如：结构化数据、非结构化数据、半结构化数据等，其中结构化数据通常是指企业ERP、财务系统等数据信息；非结构化数据是指语音、图像、视频等数据；半结构化数据是指结构隐含但不严谨的自我描述型数据，如：邮件、HTML、报表、资源库等数据。

传统的关系型数据库管理系统在面对上述大规模及多样性的数据时，存在一定的局限性，尤其是对于处理非结构化数据和半结构化数据时显得力不从心。为此，提出了NoSQL的概念。

NoSQL是指非关系型的数据库，或者称为：非结构化数据存储的数据库。NoSQL存储中的列式存储（如Hbase，OTS）是基于列的数据库，以方便读写大数据内容。NoSQL存储模型可以表示为一个表，每个表由很多行组成，每行又有很多列。表创建时需要指定行的主键列，该主键列通常被用来划分数据，相邻主键的行通常被组织在一起。对NoSQL数据库进行查询的方式是为其建立索引。

索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。因此，可以通过为数据库建立索引查找到所需要的信息。

倒排索引是NoSQL数据库最常用的数据结构之一，所谓倒排索引（Invertedindex），是根据属性的值来查找记录，在倒排索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的地址，所以称之为倒排索引。以常用的NoSQL数据库类型——文档检索系统为例，如果要为存储在硬盘上的文本文件建立倒排索引，则所述属性值就是文档中的关键字，倒排索引表中对应每个关键字记录包含该关键字的文本文件所在的硬盘存储位置，该硬盘存储位置称为索引值。

对上述文档检索系统为例，需要为大量文档建立数据库索引时，可以将文档和索引存入NoSQL数据库的数据表和倒排索引表中，数据表主键是文档ID，值是文档内容；倒排索引表主键是关键字，值是包含该关键字的文档列表，通过倒排索引表的关键字主键可以查找包含该关键字的所有文档的文档ID，使用这些文档ID，再通过数据表，可以查找到对应的文档内容，通过上述方式，就可以实现从海量的信息中快速地提取出用户需求的信息，实现为NoSQL数据库建立索引的目的。

然而，现有基于NoSQL对数据建立的倒排索引，其查询效率很低。原因在于，用户在根据关键字进行查询时，需要在整个倒排索引表中查找相应关键字，该查找时间随数据量指数增长，导致查询效率低。