[发明专利]数据存储和查询方法及装置

说明书

本发明公开了一种数据存储和查询方法及装置。该方法包括：在待存储数据存入时，在内容文件中申请内容头节点的存储空间和内容节点的存储空间，在内容头节点的存储空间中存储数据的内容节点的存储地址，在内容节点的存储空间中存储数据的实体内容；将待存储的数据的索引信息存入索引文件中，其中，在索引文件中申请索引信息的存储空间，索引信息为待存储数据的实体内容的维度信息以及实体内容在内容文件中的内容节点的存储地址。通过本发明，达到了优化数据库存储结构的效果。

技术领域

本发明涉及数据库领域，具体而言，涉及一种数据存储和查询方法及装置。

背景技术

目前市面上的存储库产品的种类很多，有基于大数据的hadoop基础的hbase，spark，impala等，有基于关系型数据库的sqlserver，mysql等，有非sql的mango等，各种产品针对的产品需求不同，功能各异，但是针对特定存储的解决方案缺点很难找到，比如在存储解析文书结果的需求中，经过大量的评测和试用没有找到合适的产品可以用，用户的需求主要有以下的特点和存储需求：

1，数据的量：千万组结果，每组结果又有千级的维度信息，每个维度信息又有多个子结果，每个子结果还有多个属性，所以很难平铺成二维表，所以不适用常规的关系型数据库。

2，动态的数据列：因为维度信息的属性是多样的，所以无法预定义列。

3，数据的频繁更新：数据的更新速度很快，而且每次都是全库更新，所以不存在删除单条数据的需求。

4，要求数据的写入速度快速：因为解析是基于分布式系统的，所以要能消化掉解析的速度。

5，数据可以根据列进行筛选查询。

6，支持数据的部分(全部)导出，很容易扩展成off-line的数据包。

针对相关技术中数据库存储结构无法满足用户需求的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据存储和查询方法及装置，以解决数据库存储结构无法满足用户需求的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据存储方法，该方法包括：在待存储数据存入时，在内容文件中申请内容头节点的存储空间和内容节点的存储空间，在所述内容头节点的存储空间中存储数据的内容节点的存储地址，在所述内容节点的存储空间中存储数据的实体内容；将所述待存储的数据的索引信息存入索引文件中，其中，在所述索引文件中申请索引信息的存储空间，所述索引信息为待存储数据的实体内容的维度信息以及实体内容在所述内容文件中的内容节点的存储地址。

进一步地，所述方法还包括：在检测到存在新的维度信息时，创建新的索引文件；将所述新的索引文件的存储位置存入定义文件中。

进一步地，所述内容文件包括表头节点、内容头节点和内容节点三种节点类型，将待存储的数据首次存入内容文件中包括：申请表头节点的存储空间、内容头节点的存储空间和内容节点的存储空间，在所述表头节点的存储空间中存储内容文件的数据总条数和内容头节点的存储位置；在所述内容头节点的存储空间中存储下一个内容头节点的存储位置和内容节点的存储位置；在所述内容节点的存储空间中存储数据的实体内容。

进一步地，所述表头节点、内容头节点和内容节点各包括四个字节块，第一字节块、第二字节块和第三字节块各包括8个字节，第四字节块包括4个字节，所述表头节点的第一个块表示内容文件的数据总条数，第二个块表示内容头节点的存储位置，第三个块和第四个块为空；内容头节点的第一个块为空，第二个块表示下一条内容头节点的位置，第三个块表示内容节点的下一条的位置，第四块表示内容的长度；内容节点的第一个块表示内容节点的下一条的位置，内容节点的其余块用于存储数据的实体内容，内容节点的块的数量根据所述数据实体内容的大小确定。