[发明专利]一种分词、词性标注和命名实体识别的联合词法分析方法

说明书

本发明公开一种分词、词性标注和命名实体识别的联合词法分析方法，将分词和词性标注任务分解为候选词语检测和词性类别预测两个子任务，将实体识别任务分解为候选实体检测和实体类别预测两个子任务，并采用统一的神经网络模型对四个任务进行联合学习；同时，对不同任务之间的参数进行共享。本发明用高准确率的分词改善了词性标注任务和实体识别任务中的词边界检测问题，并且可以通过使用词性标注信息来提高分词精度。利用分词、词性标注和命名实体识别之间的高关联性进行联合学习，提高了模型性能。

技术领域

本发明涉及一种分词、词性标注和命名实体识别的联合词法分析方法，涉及自然语言处理技术领域。

背景技术

在自然语言处理中，词法分析是自然语言处理中一项基础性关键任务，词法分析中的分词、词性标注和命名实体识别都是文本分类、信息检索和机器翻译等下游任务的基础。

尽管已有的中文分词模型、词性标注模型、命名实体识别模型都有一定的进展，但针对以上三个任务做多任务联合的模型还暂未有进展。N-grams统计语言模型，是利用上下文相邻词间的相关信息，选择出现概率最大的词语组合，实现自动分词。该模型具有语种无关性，拼写错误兼容能力强，能较好处理中英文及繁简体文本，是分词任务常用的统计语言模型。该类模型不受文本领域的限制，但识别速度还有待提高。在以往的研究中，分词、词性标注和命名实体识别通常被看为独立的任务，通常被看作序列标注任务，

近些年，出现了一批基于深度学习算法的方法，主流的模型为Encoder-Decoder的模型，最具代表性的是BiLSTM-CRF模型，该类方法在特征方面，继承了深度学习方法的优势，无需特征工程，使用词向量以及字符向量就可以达到很好的效果。BiLSTM能捕获每个单词在上下文中的语义，但从词性标注和命名实体识别的角度来讲，过长的序列对于单词词性和实体的预测意义不大，且使用CRF解码的训练代价较大、复杂度较高。现有联合词法分析方法中任务间通常在结构上相互独立，但在数据处理过程中又顺序依赖，这种方法会引入任务间的错误传递，影响模型性能。区别于以往的方法，本发明方法提出了一个全新的范式，以一种多标签分类的思想，提出“检测-分类”的架构。先进行片段打分，再进行分类，训练的时候不需要像CRF那样递归计算分母，预测的时候也不需要动态规划，将分词、词性标注和命名实体识别任务同时进行，做到数据共享，使得各任务的性能得到不同程度的提升。

发明内容

本发明的目的在于，提供一种分词、词性标注和命名实体识别的联合词法分析方法，将分词和词性标注任务分解为候选词语检测和词性类别预测两个子任务，将实体识别任务分解为候选实体检测和实体类别预测两个子任务，并采用统一的神经网络模型对四个任务进行联合学习，实现了分词、词性标注、命名实体识别的多任务联合学习。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

一种分词、词性标注和命名实体识别的联合词法分析方法，所述分析方法是：将分词和词性标注任务分解为候选词语检测和词性类别预测两个子任务，将实体识别任务分解为候选实体检测和实体类别预测两个子任务，并采用统一的神经网络模型对四个任务进行联合学习；同时，对不同任务之间的参数进行共享。

一种分词、词性标注和命名实体识别的联合词法分析方法，包括以下步骤：

S1：对从PFR1998中获取的文本进行数据预处理，给每个字符片段匹配它对应的标签类别；

S2：对S1预处理过的数据中依次得到每个句子信息作为输入，利用BERT预训练语言模型对输入进行特征编码，获取句子中每个字的带上下文语义向量表示，对句子中所有连续子序列进行候选词语检测和候选实体检测，再通过计算候选词语和候选实体的得分概率，进而去预测当前序列中的词序列标签、词性序列标签和实体序列标签。

进一步的，所述S1对数据预处理包括：

针对训练集对词语构建词性标签字典和实体标签字典；