[发明专利]一种相似性连接查询方法及装置

说明书

一种相似性连接查询方法及装置，涉及数据处理领域。在进行相似性连接性查询时，先获取进行相似性连接查询的原始向量集合、相似性连接查询结果的向量对个数以及相似性连接查询结果的初始数据集合，然后再对原始向量集合进行分组处理，得到多个子向量分组集合，并构建该原始向量集合的相似度分布直方图，再根据相似度分布直方图和结果向量数量，计算向量距离阈值，最后根据多个子向量分组集合、向量距离阈值和结果向量数量更新该初始结果向量对集合，得到用于表示相似性连接查询结果的结果向量对集合，实现了不需要人工预先设定向量距离阈值，能够减少大量的冗余计算，进而提升相似性连接查询效率。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种相似性连接查询方法及装置。

背景技术

相似性连接查询是从海量高维数据集合中，找出其相似度大于等于给定相似度阈值或者其距离小于等于给定距离阈值的数据对，其在很多领域中均有重要应用，如图像聚类、重复网页检测、相似用户推荐等。目前，可以通过基于阈值的相似性连接查询方法来进行相似性连接查询，其阈值的选择需要根据待查询的向量集合中向量之间的距离分布情况人工预先确定，最终得到预设数量的数据对。然而在实践中发现，基于阈值的相似性连接查询方法需要人工预先设定阈值，然后再不断对阈值进行修改，并根据新的阈值不断重复执行相似性连接查询方法，直至得到预设数量的数据对，在不断重复执行相似性连接查询方法时会带来大量的冗余、重复性的计算工作，进而导致相似性连接查询效率低。

发明内容

本申请实施例的目的在于提供一种相似性连接查询方法及装置，不需要人工预先设定阈值，能够减少大量的冗余计算，进而提升相似性连接查询效率。

本申请实施例第一方面提供了一种相似性连接查询方法，包括：

获取待查询的原始向量集合、结果向量数量和初始结果向量对集合；其中，所述原始向量集合为进行相似性连接查询的数据集合，所述初始结果向量对集合为相似性连接查询结果的初始数据集合，所述结果向量数量表示相似性连接查询结果的向量对个数；

对所述原始向量集合进行分组处理，得到多个子向量分组集合；

根据所述结果向量数量和多个子向量分组集合构建所述原始向量集合的相似度分布直方图；

根据所述相似度分布直方图和所述结果向量数量，计算向量距离阈值；

根据多个所述子向量分组集合、所述向量距离阈值和所述结果向量数量更新所述初始结果向量对集合，得到用于表示相似性连接查询结果的结果向量对集合。

在上述实现过程中，在进行相似性连接性查询时，先获取进行相似性连接查询的原始向量集合、相似性连接查询结果的向量对个数以及相似性连接查询结果的初始数据集合，然后再对原始向量集合进行分组处理，得到多个子向量分组集合，再构建该原始向量集合的相似度分布直方图，进一步地，再根据相似度分布直方图和结果向量数量，计算向量距离阈值，最后根据多个所述子向量分组集合、向量距离阈值和结果向量数量更新该初始结果向量对集合，得到用于表示相似性连接查询结果的结果向量对集合，实现了不需要人工预先设定向量距离阈值，也不需要根据人工不断改变向量距离阈值而多次执行相似性连接查询方法，进而能够减少大量的冗余计算，进而提升相似性连接查询效率。

进一步地，根据所述结果向量数量和多个子向量分组集合构建所述原始向量集合的相似度分布直方图，包括；

根据预设区间划分规则和所述原始向量集合，获取多个距离向量区间；

对所述原始向量集合进行分组处理，得到多个子向量集合；

根据多个所述子向量集合计算每个所述距离向量区间对应的总体相似结果估计值；

根据每个所述距离向量区间对应的总体相似结果估计值构建所述原始向量集合的相似度分布直方图。