[发明专利]大规模高维数据快速检索方法及系统

摘要

本发明提供了一种基于乘积量化与多重倒排索引的大规模高维数据近似近邻检索方法及系统，包括基于训练后的乘积量化单元，获取待检索数据对应的二进制码，所述二进制码用于确定与所述待检索数据距离最近的聚类中心；将所述二进制码输入至与所述训练后的乘积量化单元匹配的多重倒排索引单元中，获取预设数据库中与所述待检索数据距离最小的数据构成的集合；根据所述集合中每一数据与所述待检索数据的距离大小，对所述集合中的所有数据进行排序，并将排序后的所有数据作为检索结果。本发明通过提供一种基于高维数据的大规模相似性检索方法及系统，可以大大提高检索的准确度和时间效率。

主权项

1.一种高维数据检索方法，其特征在于，包括：S1，基于训练后的乘积量化单元，获取待检索数据对应的二进制码；其中，S1具体包括：将所述待检索数据输入至所述训练后的乘积量化单元，所述训练后的乘积量化单元基于乘积量化算法对所述待检索数据进行乘积量化，将所述待检索数据所处空间分解为M个低维子空间的笛卡尔乘积的形式，并将所述待检索数据在每一低维子空间中的所有分量量化至所述每一低维子空间对应的聚类中心中，确定与待检索数据距离最近的聚类中心，并采用二进制码进行标记；S2，将所述二进制码输入至与所述训练后的乘积量化单元匹配的多重倒排索引单元中，所述多重倒排索引单元用于根据所述训练后的乘积量化单元得到的聚类中心矩阵，获取预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据构成的集合；S3，根据所述集合中每一数据与所述待检索数据的距离大小，对所述集合中的所有数据进行排序，并将排序后的所有数据作为检索结果；所述方法还包括：基于训练后的乘积量化单元，获取所述乘积量化单元中的聚类中心矩阵；相应地，所述将所述二进制码输入至与所述训练后的乘积量化单元匹配的多重倒排索引单元中之前，还包括：获取所述预设数据库中的所有数据并分别输入至所述训练后的乘积量化单元，得到每一数据对应的二进制码；基于得到的每一数据对应的二进制码，分别获取所述预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据；基于获取到的所有数据及对应的二进制码，构建与所述乘积量化单元匹配的多重倒排索引单元。