[发明专利]命名实体识别方法及装置

说明书

本发明公开了一种命名实体识别方法及装置，该方法包括：获取用于模型训练的句子序列以及所述句子序列对应的标注标签序列；将所述句子序列转化为句子的向量表示，得到所述句子序列中每个字的向量；根据所述句子序列中的第i个字的向量以及第i‑1个字的预测标签生成预测向量，并根据所述预测向量确定第i个字的预测标签，以此生成所述句子序列对应的预测标签序列；将所述预测标签序列和所述标注标签序列输入交叉熵损失函数；使用梯度下降算法优化所述交叉熵损失函数进行命名实体识别模型训练，以根据训练好的命名实体识别模型进行命名实体识别。本发明的命名实体识别方法的模型训练速度和识别速度相比与现有技术有明显提升。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种命名实体识别方法及装置。

背景技术

命名实体识别(Named Entity Recognition，简称NER)是信息提取、问答系统、句法分析、机器翻译以及现在的NL2SQL等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。举个简单的例子，在句子“中国工商银行上海市分行”中，对其进行命名实体识别，应该能提取信息，地点：上海市，行业：银行。

常见的命名实体识别算法有HMM、CRF和深度学习结合CRF等，都是基于马尔可夫过程的理论。这些算法使用状态概率加转移概率的条件随机场原理来拟合标注序列，在推断阶段，使用维特比算法来寻找最短路径，模型训练速度和推断速度都不够理想。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种命名实体识别方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种命名实体识别方法，该方法包括：

获取用于模型训练的句子序列以及所述句子序列对应的标注标签序列；

将所述句子序列转化为句子的向量表示，得到所述句子序列中每个字的向量；

根据所述句子序列中的第i个字的向量以及第i-1个字的预测标签生成预测向量，并根据所述预测向量确定第i个字的预测标签，以此生成所述句子序列对应的预测标签序列；

将所述预测标签序列和所述标注标签序列输入交叉熵损失函数；

使用梯度下降算法优化所述交叉熵损失函数进行命名实体识别模型训练，以根据训练好的命名实体识别模型进行命名实体识别。

可选的，该命名实体识别方法还包括：

获取待识别的句子序列；

将所述待识别的句子序列输入到训练好的命名实体识别模型中，得到所述待识别的句子序列中的命名实体，其中，所述训练好的命名实体识别模型将所述待识别的句子序列转化为句子的向量表示，生成所述待识别的句子序列对应的预测标签序列，并根据预测标签序列提取出所述待识别的句子序列中的命名实体。

可选的，所述将所述句子序列转化为句子的向量表示，包括：

使用深度学习算法对所述句子序列进行语义提取得到句子的向量表示。

可选的，所述根据所述句子序列中的第i个字的向量以及第i-1个字的预测标签生成预测向量，包括：

将所述句子序列中的第i个字的向量以及第i-1个字的预测标签进行拼接；

将拼接生成的向量与预设的参数矩阵相乘，得到预测向量。

可选的，所述根据所述预测向量确定第i个字的预测标签，包括：

确定所述预测向量中最大元素的位置，并根据所述位置确定第i个字的预测标签。