[发明专利]海量特征向量数据的相似检索方法及设备、存储介质

说明书

本发明公开了一种海量特征向量数据的相似检索方法及设备、计算机可读存储介质，该方法包括步骤：根据待检索的特征向量，分别进行计算得到粗分类哈希编码后的粗分类标识、多索引哈希编码后的二进制编码集合、以及特征向量集合；根据所述粗分类标识和所述二进制编码集合进行联合搜索，得到联合搜索结果集；根据所述特征向量集合对所述联合搜索结果集进行逐层过滤，得到过滤后的结果集。本发明通过粗分类标识、二进制编码集合以及特征向量集合，对海量特征向量数据进行相似检索；解决了现有技术中海量特征数据的检索效率低下、且无法保证查全率和查准率的问题。

技术领域

本发明涉及非结构化数据搜索技术领域，尤其涉及一种海量特征向量数据的相似检索方法及设备、计算机可读存储介质。

背景技术

随着安防监控数据的急剧增长，以及图像、视频、语音等人工智能技术的快速发展，如何在海量的数据中快速查找到相似的图像、视频、语音等非结构化数据，已成为一个迫切的需求。

对于图像、视频、语音等非结构化数据，目的是提取其中的特征向量，输出与其相似的图像、视频、语音。海量特征向量数据的检索，要求算法对数据规模具有很好的可扩展性；此外，检索效率、查全率、查准率等是评价检索性能的通用指标，即不但要求检索效率高，还要保证检索的准确性。

对于海量特征向量数据检索问题，如果直接使用传统的特征向量检索方法，针对高维度特征向量需要线性遍历整个数据库来寻找最相似的特征向量，查询效率低下且不具有可扩展性。为了解决该问题，可采用一些类似索引的技术来加快查找过程，通常这类技术称为最近邻查找(Nearest Neighbor)，例如Kd-tree(Kd树)；或近似最近邻查找(Approximate Nearest Neighbor)，例如Kd-tree with BBF(Best Bin First)、Randomized Kd-trees、Hierarchical K-means Tree。但这些方法都不能很好的兼顾检索效率及查询率、查准率等指标。

因此，如何快速高效地进行海量非结构化数据检索，且保证查全率和查准率，是目前面临的技术难题。

发明内容

本发明的主要目的在于提出一种海量特征向量数据的相似检索方法及设备、计算机可读存储介质，旨在解决现有技术中海量特征数据的检索效率低下、且无法保证查全率和查准率的问题。

为实现上述目的，本发明实施例第一方面提供一种海量特征向量数据的相似检索方法，所述方法包括步骤：

根据待检索的特征向量，分别进行计算得到粗分类哈希编码后的粗分类标识、多索引哈希编码后的二进制编码集合、以及特征向量集合；

根据所述粗分类标识和所述二进制编码集合进行联合搜索，得到联合搜索结果集；

根据所述特征向量集合对所述联合搜索结果集进行逐层过滤，得到过滤后的结果集。

此外，为实现上述目的，本发明实施例第二方面提供一种海量特征向量数据的相似检索设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的海量特征向量数据的相似检索程序，所述海量特征向量数据的相似检索程序被所述处理器执行时实现上述的海量特征向量数据的相似检索方法的步骤。

再者，为实现上述目的，本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有海量特征向量数据的相似检索程序，所述海量特征向量数据的相似检索程序被处理器执行时实现上述的海量特征向量数据的相似检索方法的步骤。

本发明实施例提供的海量特征向量数据的相似检索方法及设备、计算机可读存储介质，通过粗分类标识、二进制编码集合以及特征向量集合，对海量特征向量数据进行相似检索；解决了现有技术中海量特征数据的检索效率低下、且无法保证查全率和查准率的问题。

附图说明

图1为本发明第一实施例的海量特征向量数据的相似检索方法流程示意图；