[发明专利]命名实体识别方法、电子装置及存储介质

说明书

本发明涉及计算机信息技术领域，提供了一种命名实体识别方法、电子装置及计算机存储介质，该方法包括：将接收到的待识别文本输入word2vec模型得到第一词向量，对所述待识别文本进行分词处理后输入ELMO模型，得到第二词向量，将所述第一词向量和所述第二词向量进行加权求和，利用双向LSTM模型对所述加权求和得到的结果进行处理，转换成文本特征序列，将所述文本特征输入至CRF模型处理，即得到得到命名实体识别结果。本发明利用ELMO模型深度考虑待识别文本在上下语义语法的不同表达以及在不同语言环境的表达意思，通过多个模型以不同层次处理待识别文本的信息，从而提高命名实体识别的准确率。

技术领域

本发明涉及计算机信息技术领域，尤其涉及一种命名实体识别方法、电子装置及存储介质。

背景技术

在信息抽取、实体链接等自然语言处理任务的场景中，常常需要进行命名实体识别(NamedEntity Recognition，NER)。其中，NER是指在文档集合中识别出特定类型的事物名称或符号的过程。

相关技术在进行命名实体识别时，一般采用条件随机场算法(ConditionalRandom Field，CRF)或单向循环神经网络(Recurrent Neural Network，RNN)等模型对待识别文本进行识别。

然而，由于无论采用CRF还是采用单向RNN进行识别，得到的语义信息比较有限，因此，识别的准确率不高。

发明内容

本发明的目的在于提供一种命名实体识别方法、电子装置及计算机存储介质，旨在利用ELMO模型充分考虑待识别文本上下语义表达及语境变化表达，从而提高命名实体识别的准确率。

为实现上述目的，本发明提供一种命名实体识别方法，该方法包括：

接收步骤：接收待识别文本；

第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；

第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；

加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；

序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；

命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。

优选的，所述ELMO模型的训练过程包括：

A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；

A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；

A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。

优选的，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：

获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；

根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；

根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；