[发明专利]一种小型的融合中文词嵌入的命名实体识别方法和系统

说明书

本发明属于自然语言处理领域，特别是命名实体识别领域，具体涉及一种小型的融合中文词嵌入的命名实体识别方法和系统。现有的融合中文词嵌入的命名实体识别方法，存在模型的参数较多，运算时间过长的问题，并不能很好的应用到小型的移动设备上。本发明主要包括四个模块：字符表示、单词表示、句子表示和句子解码，首先句子中的字符通过字符嵌入得到字符表示，之后通过将句子和中文词嵌入进行匹配和BME的单词映射，得到单词表示，然后我们将字符表示和单词表示连接，输入到GRU当中，得到句子表示，最后对句子表示进行句子解码，得到最终的结果。通过对于单词表示和句子表示的改进，最终实现缩小模型参数和加快识别速度的要求。

技术领域

本发明属于自然语言处理领域，特别是命名实体识别领域，具体涉及一种小型的融合中文词嵌入的命名实体识别方法和系统。

背景技术

命名实体识别是一个基础的自然语言处理任务。命名实体识别任务将句子中的每一个单词标注一个预先定义好的标签，比如说人名，地名和组织机构名等。命名实体识别的结果可以用于很多的下游任务，包括知识图谱的构建和问答系统等。现有的通用命名实体识别系统如LSTM-CRF，GRU-CRF和BERT-CRF等，主要以字符为基本单元作为输入，但是基于字符的命名实体识别系统忽略了单词级别的信息，单词级别的词嵌入信息通常对于实体的识别具有辅助作用。

最近Lattice-LSTM的提出提供了一种新的利用中文词嵌入的方式，并得到了广泛的应用。Lattice-LSTM通过改进传统的LSTM，通过更改门的结构来实现对于词嵌入信息的融入。常见的有两种方式来对Lattice-LSTM进行改进。一种方式是构建小型的快速的利用词嵌入的方式，通过将词嵌入独立于LSTM，这样的话能够实现并行的计算多个句子，常见的方法包括SoftLexicon。另一种方式是将词嵌入信息融入到BERT模型当中，通过将将单词嵌入加入到transformer的架构当中，能够提供一个预训练的融合单词信息的预训练模型。然而，当前的命名实体识别存在一些问题：

1)模型的参数多，当前的方法使用BMES的单词嵌入的方法，之后并行连接，造成单词表示的维度过高，造成单词表示阶段和句子表示阶段参数过多；

2)模型的运算速度慢，使用LSTM进行句子的表示，造成句子表示阶段运算速度慢。

发明内容

本发明目的是提供一种小型的融合中文词嵌入的命名实体识别方法，建立能够快速的小型的命名实体识别模型，以解决现有命名实体识别模型存在参数过多和速度过慢的问题。

本发明采取的技术方案是：

一种小型的融合中文词嵌入的命名实体识别方法，包括以下步骤：

将句子中的字符输入到预先训练好的字符嵌入模块中，得到字符表示；

将句子中由字符匹配到的单词转化为稠密向量，得到单词表示；

将字符表示和单词表示进行连接，利用GRU网络进行句子表示；

将句子表示进行解码，得到命名实体识别结果。

进一步地，所述字符表示是稠密的向量，代表字符的语义信息。

进一步地，所述将句子中由字符匹配到的单词转化为稠密向量，得到单词表示，包括：

使用BME集合来表征匹配到的不同单词的位置，之后通过位置矩阵将单词信息进行融合，得到单词表示。

进一步地，所述将句子表示进行解码，是利用句子表示，使用条件随机场CRF来建模标签之间的关系，得到最终的预测标记即命名实体识别结果。

一种小型的融合中文词嵌入的命名实体识别系统，包括以下步骤：

字符表示模块，用于将句子中的字符输入到预先训练好的字符嵌入模块中，得到字符表示；