[发明专利]一种基于基数树与哈希表结合的数据存储方法及装置

说明书

本发明提供一种基于基数树与哈希表结合的数据存储方法及装置。所述方法包括：将所有待存储的字符串数据存入基数树；记录每个节点被检索的次数，将被检索频次高的叶子节点对应的字符串数据存储到独立于所述基数树且检索优先级高于基数树的哈希表中，并删除此叶子节点。本发明将基数树与哈希表结合，且进行数据检索时先检索哈希表中保存的检索频次高的数据，如果哈希表中检索不到才去检索基数树中保存的检索频次低的数据，既可节省存储空间，又可有效提高数据检索速度。

技术领域

本发明属于数据结构技术领域，具体涉及一种基于基数树与哈希表结合的数据存储方法及装置。

背景技术

在当今的大数据时代，海量数据的激增给各个领域的研究和系统应用都带来了数据存储和处理的困难。对海量数据进行存储和检索是进行数据分析和处理的基础，没有合适的数据存储方案会导致基于大数据的技术发展产生瓶颈。因此，解决海量数据的存储和数据搜索效率问题是各个领域共同存在的重要问题，而现有的数据结构在这些方面还存在着不足之处。

基数树是用于存储数据的常用的数据结构。本发明对基数树数据结构进行改进，在基数树的基础上提出一种复合基数树，在尽可能减少数据存储空间的同时，还提高了海量数据检索的效率。复合基数树数据结构为海量数据存储和数据搜索提供了一种新的解决方法。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种基于基数树与哈希表结合的数据存储方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种基于基数树与哈希表结合的数据存储方法，包括以下步骤：

对待存储的字符串数据进行分组，将第一个字符相同的字符串分为一组；将每一组的字符串共同包含的从第一个字符开始的一个或多个连续字符存储在一个节点内；

对由该组中去掉已存储字符后的剩余字符组成的字符串，按照上述方法继续分组，并将每组中所述共同包含的字符存储到上一节点的子节点；对于只包含一个字符串的小组，将所述字符串存储在其对应的叶子节点内；

重复上述过程，直到将所有待存储的字符串数据存储到基数树中；

记录每个节点被检索的次数，将被检索频次高的叶子节点对应的字符串数据存储到独立于所述基数树且检索优先级高于基数树的哈希表中，并删除此叶子节点。

进一步地，如果某叶子节点被检索的次数k超过设定的第一阈值，且k与所述叶子节点的直接父节点被检索的次数的比值大于设定的第二阈值，则所述叶子节点为被检索频次高的叶子节点。

进一步地，将所述叶子节点对应的字符串数据存储到哈希表的方法包括：

对所述数据进行哈希运算，得到其哈希值；

将所述数据存储到以所述哈希值为存储位置的哈希表中；

如果发生哈希碰撞，则在所述存储位置以链表数据结构存储发生哈希冲突的数据。

更进一步地，删除叶子节点时，将所述叶子节点的所有直接和间接父节点的被检索次数减去k后作为更新后的被检索次数。

更进一步地，所述方法还包括查询数据步骤：

遍历所述哈希表，如果在某一位置或所述位置的链表中检索待查询数据，则返回查询结果；

如果在哈希表中未检索到待查询数据，则在所述基数树中采用深度优先搜索算法进行数据检索；如果找到待查询数据，则返回查询结果。

更进一步地，所述方法还包括删除数据步骤：

遍历所述哈希表，如果在某一位置或所述位置的链表中检索到待删除数据，则删除所述数据；