[发明专利]一种基于多维哈希表的数据查找方法、终端设备及存储介质

说明书

本发明涉及一种基于多维哈希表的数据查找方法、终端设备及存储介质，在该方法中，包括以下步骤：S10：将数据按照其在地址空间内的顺序线性的均分为n个子数据，所有子数据占据相同的地址空间；S20：将每个数据对应的子数据进行i次运算，所述i个运算结果分别对应i个有效特征值；S30：将上述i个有效特征值分别进行哈希运算得到相应的哈希表；S40：按顺序分别查询i个哈希表内是否处在对应的i个运算结果，当某个哈希表内不存在对应的某个运算结果时，将该数据丢弃，如果均存在，则该数据为所查找数据。本发明通过将一个数据分成多个子数据，对子数据进行多重运算后将其结果进行哈希运算得到对应的多个哈希表，然后遍历所有哈希表来查找数据。

技术领域

本发明涉及计算机技术存储技术领域，尤其涉及一种基于多维哈希表的数据查找方法、终端设备及存储介质。

背景技术

随着数字信息量的爆炸式增长，数据占用空间越来越大，在过去的10年里，很多行业提供的存储系统容量从数十GB发展到数百TB，甚至数PB，足足翻了10,000多倍。在高性能计算领域，FPGA以低功耗、高传输的优势得到广泛应用，但是由于逻辑资源的限制，没办法对大量的数据进行查找。而CPU因为计算性能不够，完全满足不了高性能计算应用场合。GPU虽然在一定程度上可以满足高性能计算需求，但它功耗高，而且也只能处理“中高”性能应用场合，对于完全高速场合而已，GPU也没办法满足需求，为了缩减数据占用空间，降低成本、最大程度的利用已有资源，采用的方法为数据进行哈希运算，哈希表是一种应用广泛的数据结构，它解决了在有限程序空间内容纳总数有限，但索引取值范围非常大的数据项的设计要求，但其本身存在哈希冲突的问题，即哈希运算是多对一的，即多个数据对应一个运算结果。

发明内容

本发明旨在提供一种基于多维哈希表的数据查找方法、终端设备及存储介质，通过将一个数据分成多个子数据，对子数据进行多重运算后将其结果进行哈希运算得到对应的多个哈希表，然后遍历所有哈希表来查找数据。

具体方案如下：

一种基于多维哈希表的数据查找方法，包括以下步骤：

S10：将数据按照其在地址空间内的顺序线性的均分为n个子数据，所有子数据占据相同的地址空间；

S20：将每个数据对应的子数据进行i(i为整数，且i1)次运算，所述运算的算法为常用数学运算算法或逻辑运算算法，其参数包括所有子数据，所述i个运算结果分别对应i个有效特征值；

S30：将上述i个有效特征值分别进行哈希运算得到相应的哈希表；

S40：按顺序分别查询i个哈希表内是否处在对应的i个运算结果，当某个哈希表内不存在对应的某个运算结果时，将该数据丢弃，如果均存在，则该数据为所查找数据。

进一步的，所述以m为8的正整数倍，n为能整除m的数。

进一步的，所述有效特征值的选择为选取每个运算结果中固定的a位有效位作为有效特征值。

进一步的，所述a的设定需要综合考虑数据存储空间的大小以及哈希表最大规模，以避免哈希冲突。

进一步的，所述哈希运算为MD5运算。

一种基于多维哈希表的数据查找终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于多维哈希表的数据查找方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于多维哈希表的数据查找方法的步骤。