[发明专利]一种基于兴趣点知识图谱预训练的地址匹配算法

权利要求书

1.一种基于兴趣点知识图谱预训练的地址匹配方法，其特征在于，包括，

(1)获取经过数字化处理的、能在网络环境下运行的兴趣点地址，将兴趣点地址区分出不同粒度的行政区域，得到标注后的兴趣点地址；

(2)将标注后的兴趣点地址随机遮盖部分行政区域输入到语言模型中，输出预测后的兴趣点地址，利用兴趣点地址与预测后的兴趣点地址计算损失函数，多次迭代后，得到输出准确的兴趣点地址的语言模型，包括以下步骤：

(2.1)将兴趣点地址文本输入到语言模型的向量编码层，经计算得到兴趣点地址中每个字符的向量表示；

所述的兴趣点地址文本为式(1)所示：

C＝{c₀,c₁,…,c_n-1} (1)

其中，C为兴趣点地址文本；n为兴趣点地址文本的长；

所述的兴趣点地址中每个字符的向量表示为式(2)所示：

h₀＝CW_e+W_p (2)

其中，h₀为兴趣点地址中每个字符的向量表示；W_e为词表矩阵；W_p为位置向量矩阵；h₀∈R^n×d为输入字符的向量表示；d为向量维度；

(2.2)将兴趣点地址中每个字符的向量表示作为transformer编码层的输入，得到兴趣点地址训练样本的特征向量；

所述的兴趣点地址训练样本的特征向量的计算公式为式(3)所示：

h_l＝transformer(h_l),l∈[1,6] (3)

其中，h_l为兴趣点地址训练样本的特征向量；l为transformer编码层的堆叠层数；

(2.3)将兴趣点地址训练样本的特征向量作为全连接层的输入，得到兴趣点地址的概率矩阵；

所述的兴趣点地址的概率矩阵的计算公式为式(4)所示：

p_i＝softmax(h_lW) (4)

其中，W为全连接层的矩阵；p_i∈R^n×V为概率矩阵；V为词表大小；

(2.4)利用兴趣点地址与预测后的兴趣点地址计算损失函数，多次迭代后，得到输出准确的兴趣点地址的语言模型；

所述的损失函数的计算公式为式(5)所示：

其中y_i是被遮盖的词，p_i是对应i位置上输出的概率分布；

(3)将步骤(2)得到的语言模型后面接上全连接层，使用标注后的地址匹配任务数据集对模型和全连接层进行整体参数微调，得到微调后的语言模型和全连接层，包括以下步骤：

(3.1)将地址匹配任务数据集中的地址文本输入语言模型中，得到地址文本的输出向量；

所述的地址文本为式(6)所示：

其中，C_i为地址文本；分别为地址文本的正负样本，即与C_i匹配，则为随机采样的负样本；

所述的地址文本的输出向量的计算公式为式(7)所示：

其中，为地址文本的输出向量；h_i∈R^d；

(3.2)利用合页损失函数计算地址文本输出向量中h_i与之间的相似度和h_i与之间的相似度的损失值，迭代求解直至损失值收敛，得到微调后的语言模型和全连接层；所述的损失值的计算公式为式(8)所示：

(4)将标注后的待预测的原始兴趣点地址输入步骤(3)得到微调后的语言模型和全连接层，得到待预测兴趣点的预测地址，将待预测的原始兴趣点地址与待预测兴趣点的预测地址进行相似度计算，完成地址匹配，包括以下步骤：

得到待预测兴趣点的预测地址的计算公式为式(9)所示：

其中，分别为遮盖不同的待预测兴趣点地址；为待预测兴趣点地址的实际地址；为待预测兴趣点地址的实际地址；

相似度计算的公式为式(10)所示：

根据sim_i的取值判断是否匹配，判断公式具体为式(11)所示：

其中，当y_i＝1时，微调后的语言模型计算出的待预测兴趣点的实际地址与真实地址匹配；当y_i＝0时，微调后的语言模型计算出的待预测兴趣点的实际地址与真实地址不匹配。