[发明专利]一种基于向量的数据比对方法、终端设备及存储介质

说明书

本发明涉及一种基于向量的数据比对方法、终端设备及存储介质，该方法中包括：S1：接收用于比对的数据，针对接收的每个数据，通过k种哈希算法分别进行哈希运算，得到对应的k个哈希向量，将k个哈希向量均通过格式归一化处理后，以格式归一化处理后的k个哈希向量为地址、地址中的值为特征值构建比对数据库；S2：当接收到待比对数据时，通过k种哈希算法分别对待比对数据进行哈希运算，得到对应的k个哈希向量；将k个哈希向量均通过格式归一化处理后，以格式归一化处理后的k个哈希向量为地址，从比对数据库中查找对应地址的值是否均为特征值，如果是，判定可能存在于比对数据库内。本发明能够在不损失查找速率的情况下，减少了数据内存占用率。

技术领域

本发明涉及数据查找领域，尤其涉及一种基于向量的数据比对方法、终端设备及存储介质。

背景技术

随着互联网、物联网和云数据产业以及大数据战略的加速落地，高需求数据处理性能计算以及数据处理要求也呈现增长趋势。随着GPU的更新换代和FPGA芯片对数据的处理速度加快，快速查找对应运算结果的算法成为了一个提升速度的重点关注问题。

常见的数据结构中，链表、树、映射中key和value没有关联性，这样，必须查找所有的key来找到对应的value，随着数据集元素的增加，需求的存储空间也会增长，最终达到存储瓶颈，同时查找速度也会相应越来越慢。如公开号为CN107729577A的中国发明专利《一种基于多维哈希表的数据查找方法、终端设备及存储介质》中说明了基于多维哈希表的数据查找方法，但对大批量数据情况，哈希表占用空间仍然较大，对FPGA这种既严格又紧缺的内存规划仍然不足。

发明内容

为了解决上述问题，本发明提出了一种基于向量的数据比对方法、终端设备及存储介质。

具体方案如下：

一种基于向量的数据比对方法，包括以下步骤：

S1：接收用于比对的数据，针对接收的每个数据，通过k种哈希算法分别进行哈希运算，得到对应的k个哈希向量，将k个哈希向量均通过格式归一化处理后，以格式归一化处理后的k个哈希向量为地址、地址中的值为特征值构建比对数据库；

S2：当接收到待比对数据时，通过k种哈希算法分别对待比对数据进行哈希运算，得到对应的k个哈希向量；将k个哈希向量均通过格式归一化处理后，以格式归一化处理后的k个哈希向量为地址，从比对数据库中查找对应地址的值是否均为特征值，如果是，判定待比对数据可能存在于比对数据库内；否则，判定待比对数据不可能存在于比对数据库内。

进一步的，哈希向量进行格式归一化处理的方法为：将哈希向量与格式特征码进行与运算，其中格式特征码的二进制格式中所有位均为1。

进一步的，格式特征码为16位的二进制数。

进一步的，比对数据库中包含2¹⁶个地址，且每个地址初始化设定为0。

进一步的，特征值为1。

进一步的，k的大小根据误判率p进行确定，当误判率p小于预设的阈值时，判定k的大小符合要求；

误判率p的计算公式为：

其中，e为自然底数，n表示接收的用于比对的数据的个数，l表示格式归一化处理后的哈希向量包括l个比特。

进一步的，还包括：对判定可能存在于比对数据库内的待比对数据与接收的所有用于比对的数据进行一一比对。

一种基于向量的数据比对终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。