[发明专利]一种用于级联地名实体识别模型的训练方法

权利要求书

1.一种用于级联地名实体识别模型的训练方法，所述级联地名实体识别模型是端到端模型，从输入到输出依次包括嵌入层、BiLSTM层、自注意力层以及CRF层，其中，所述嵌入层用于将语料样本的每个字映射为低维随机变量，所述自注意力层用于根据BiLSTM的输出计算级联地名文字的隐向量，所述方法包括：

对级联地名语料数据进行预处理，获取训练样本；

基于所述训练样本训练所述模型。

2.根据权利要求1所述的方法，所述预处理包括对省市两级数据进行随机采样并作人工删减和/或扩充。

3.根据权利要求2所述的方法，以40％的比例对原始数据进行随机采样，将所述采样后的数据中的省、市两级数据分别以1/2的概率删除后加入到原始数据。

4.根据权利要求1所述的方法，所述自注意力层利用以下公式计算级联地名文字的隐向量，

其中，π(i，j)是级联地名中第i个文字与第j个上下文文字的注意力得分，h_i表示BiLSTM层的第i个级联地名文字的输出向量，h_j表示BiLSTM层的第j个级联地名文字的输出向量，π^*(i，j)表示每个注意力得分的归一化权重，e_i表示第i个地名文字输出对应的隐向量。

5.根据权利要求1所述的方法，所述训练的损失函数为：

loss＝∑log(p(y_true|X))

其中，

其中，p表示概率，y_true为样本的真实标签序列，X表示输入序列，y表示预测序列，s表示得分函数，Y_X是序列X的所有可能输出，表示其中每个可能的地名标签序列，A是标签转移得分矩阵，表示对第i个字打上标签y_i的非归一化概率，y_i表示第i个标签，y_i+1表示第i+1个标签，log(p(y_true|X))是单个样本的对数损失，loss是对一个批次样本的对数损失求和。

6.根据权利要求1所述的方法，抽取训练集数据与测试集数据的数量比例为4:1。

7.根据权利要求3所述的方法，利用Mini-batch GD方法对所述模型进行训练。

8.一种利用权利要求1所述方法产生的模型进行级联地名实体识别的方法，包括：基于所述模型对新的语料进行标签预测，其中，所述标签预测采用以下公式，

其中，y^*表示得分最高的模型预测结果，argmax s表示使得分函数s取值最大的参数，X表示输入序列，Y_X表示序列X的所有可能输出集合，表示预测标签序列，表示输入序列X在预测标签序列上的得分。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8任一项所述方法的步骤。