[发明专利]一种分布式并行向量比对计算方法及系统

权利要求书

1.一种分布式并行向量比对计算方法，其特征在于，该方法包括以下步骤：

S1、主控单元基于分布式资源调度将向量数据库中内容均衡分发至若干计算单元，形成比对向量集；

S2、所述主控单元接收计算指令，将待计算的向量数据集发送至各个计算单元；

S3、所述计算单元将向量数据集与所述比对向量集进行对比计算；

S4、将计算结果按照相关性进行排序；

S5、将前十个相关性最高的比对结果反馈至主控单元；

S6、主控单元接收结果再次按照相关性进行排序，将前十个相关性最高比对结果作为输出并展示。

2.根据权利要求1所述的一种分布式并行向量比对计算方法，其特征在于，所述主控单元将向量数据库中内容均衡分发至若干计算单元，分别形成比对向量集，包括以下步骤：

S11、主控单元连接大数据平台获取向量数据库并实时更新；

S11、建立所述主控单元与计算单元之间用于分布式数据匹配的通信连接；

S12、所述计算单元建立基于海杜普的分布式存储；

S13、建立数据分发数学模型并进行数据分发算法；

S14、基于数据分发算法将向量数据库内容随机且均衡分发至若干计算单元中；

S15、所述计算单元接收向量数据进行分布式存储形成比对向量集。

3.根据权利要求2所述的一种分布式并行向量比对计算方法，其特征在于，所述建立数据分发数学模型并进行数据分发算法包括以下步骤：

S131、定义并初始化变量；

S132、计算任务与文件对应关系矩阵，定义任务序号变量，并计算理论上每个节点的平均任务量；

S133、为混合整数线性规划一般形式的参数进行值设置；

S134、计算任务分配结果矩阵。

4.根据权利要求1所述的一种分布式并行向量比对计算方法，其特征在于，所述计算单元将向量数据与所述比对向量集进行对比计算包括以下步骤：

S31、获取待计算的向量数据集并计算均值向量，计算公式为：

式中，μ表示向量数据集的均值向量，N表示向量数据集中向量的数量，i取值为(0，1，2，3，…，N)，x表示向量数据集中的单个向量；

S32、利用数学模型依次计算所述均值向量与所述比对向量集的相似度；

其中，所述数学模型包括相似度计算数学模型与欧氏距离数学模型。

5.根据权利要求4所述的一种分布式并行向量比对计算方法，其特征在于，所述相似度计算数学模型的公式为：

式中，S(X_i)表示向量数据集的相似度，即均值向量与比对向量集的相似度，cos(Y_m,μ)表示对比数据集与向量数据集的均值向量之间的余弦值，D表示向量所在的维度，j表示维度的层数取值为(1，2，…，D)，μ表示向量数据集的均值向量，μ_j表示均值向量在第j维的值，Y_m表示比对向量集，y_mj表示比对向量集内的向量第j维的值。

6.根据权利要求5所述的一种分布式并行向量比对计算方法及系统，其特征在于，所述欧氏距离数学模型的公式为：

式中，ρ表示欧氏距离，即均值向量与比对向量集的相似度，(X₁,Y₁,Z₁)表示均值向量的坐标值，(X₂,Y₂,Z₂)表示比对向量集内向量的坐标值。