[发明专利]大规模高维数据快速检索方法及系统

权利要求书

1.一种高维数据检索方法，其特征在于，包括：

S1，基于训练后的乘积量化单元，获取待检索数据对应的二进制码；其中，S1具体包括：将所述待检索数据输入至所述训练后的乘积量化单元，所述训练后的乘积量化单元基于乘积量化算法对所述待检索数据进行乘积量化，将所述待检索数据所处空间分解为M个低维子空间的笛卡尔乘积的形式，并将所述待检索数据在每一低维子空间中的所有分量量化至所述每一低维子空间对应的聚类中心中，确定与待检索数据距离最近的聚类中心，并采用二进制码进行标记；

S2，将所述二进制码输入至与所述训练后的乘积量化单元匹配的多重倒排索引单元中，所述多重倒排索引单元用于根据所述训练后的乘积量化单元得到的聚类中心矩阵，获取预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据构成的集合；

S3，根据所述集合中每一数据与所述待检索数据的距离大小，对所述集合中的所有数据进行排序，并将排序后的所有数据作为检索结果；

所述方法还包括：基于训练后的乘积量化单元，获取所述乘积量化单元中的聚类中心矩阵；相应地，所述将所述二进制码输入至与所述训练后的乘积量化单元匹配的多重倒排索引单元中之前，还包括：

获取所述预设数据库中的所有数据并分别输入至所述训练后的乘积量化单元，得到每一数据对应的二进制码；

基于得到的每一数据对应的二进制码，分别获取所述预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据；

基于获取到的所有数据及对应的二进制码，构建与所述乘积量化单元匹配的多重倒排索引单元。

2.根据权利要求1所述的方法，其特征在于，还包括：

将训练样本集输入至乘积量化单元，基于乘积量化损失函数对所述乘积量化单元进行训练，以得到与所述训练样本集中每一训练样本对应的二进制码。

3.根据权利要求2所述的方法，其特征在于，所述乘积量化损失函数具体通过如下公式计算：

其中，所述Q为乘积量化损失函数，z_i为所述训练样本集中第i个训练样本，N为所述训练样本集中训练样本的数量，C为所述聚类中心矩阵，h_i为与z_i对应的二进制码。

4.根据权利要求1所述的方法，其特征在于，每一聚类中心对应一数据桶，所述数据桶中包含有与所述数据桶对应的聚类中心距离最小的所有数据；相应地，S2中所述获取预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据构成的集合，具体包括：

S21，基于所述预设数据库中与所述待检索数据的每一低维子空间对应的聚类中心距离最小的聚类中心，确定预设数量个聚类中心组；

S22，获取所述预设数量个聚类中心组中每一聚类中心对应的数据桶，并提取所有数据桶中的数据，以获取所述预设数据库中与所述聚类中心矩阵中每一聚类中心距离最小的数据构成的集合。

5.根据权利要求4所述的方法，其特征在于，S21具体包括：

S211，将所述待检索数据所属的聚类中心组成首个聚类中心组；

S212，将与所述待检索数据的每一低维子空间对应的聚类中心距离最小的聚类中心均放入优先队列中；

S213，从所述优先队列中的所有聚类中心中选取一对应最小距离的聚类中心，若判断获知选取的聚类中心对应于低维子空间m，则将所述首个聚类中心组中低维子空间m对应的聚类中心替换为所述选取的聚类中心，并将替换后的所述首个聚类中心组作为第二聚类中心组；

S214，将低维子空间m中对应的、且未放入所述优先队列的、与所述聚类中心距离最小的聚类中心放入优先队列中，重复执行S213，直至得到的聚类中心组达到预设数量。