[发明专利]训练命名实体识别模型的方法、命名实体识别方法及装置

说明书

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种训练命名实体识别模型的方法、命名实体识别方法和装置。

背景技术

命名实体(例如人名，地名，组织机构名称，特定意义的网络词汇等)识别是自然语言理解的一个重要组成部分，因此，建立并维护命名实体库是众多自然语言处理(Natural Language Processing，NLP)领域应用(例如搜索系统，机器翻译系统等)的核心之一。例如，如果搜索引擎能够借助命名实体库，识别出用户的搜索词“万万没想到”是一个网络影视剧的名称，那就可以给用户返回更精确的搜索结果。

在现有技术中，一般采用以下两种命名实体识别方法。一种方法是从搜索引擎的查询日志当中用基于规则的方法来挖掘命名实体。具体的，将近期用户输入的搜索词与以往用户的搜索词进行比较。如果发现是新的搜索词，则通过所设计的基于搜索词的增长量以及与以往搜索词的相似度概率公式来给出新的搜索词是命名实体的概率，并将概率超过一定阈值的搜索词识别为命名实体。这种方法虽然能够准确的识别出互联网上新出现的命名实体，但是所述方法的实现依赖于查询日志的数据，且自用户使用搜索词进行搜索到所述搜索词被识别为命名实体延迟，影响用户的查询体验。

另一种方法是从预先标注过的训练语料(人工标注出一组文本数据中的命名实体)中，用统计的方法建立隐马尔科夫假设，然后利用该模型来从大量的文本数据中标注出新的命名实体。此方法虽然在小规模数据上能够取得不错的效果，但因其依赖于马尔科夫假设(当前词是否为某个命名实体的一部分，依赖于其前面的固定数量(一般为2)的词)，导致该模型缺少泛化能力，在大规模数据上的识别精度不高。

发明内容

本发明实施例的目的在于，提供一种训练命名实体识别模型的方法、命名实体识别方法和装置，能够快速、自动地识别出自然语言文本中的命名实体，且提高命名实体的识别精确度。

为了实现上述发明目的，本发明的实施例提供了一种用于训练循环神经网络(RNN)命名实体识别模型的方法，包括：获取多个标注的样本数据，每个所述样本数据包括文本串及其多个分词标注数据，所述分词标注数据包括从所述文本串中分出的分词及其在所述文本串中的命名实体属性标志；将所述多个标注的样本数据中的分词映射为词向量，以所述样本数据作为训练样本，对RNN命名实体识别模型进行训练，以学习所述RNN命名实体识别模型的参数。

本发明实施例还提供了一种用于训练循环神经网络(RNN)命名实体识别模型的装置，包括：样本数据获取模块，用于获取多个标注的样本数据，每个所述样本数据包括文本串及其多个分词标注数据，所述分词标注数据包括从所述文本串中分出的分词及其在所述文本串中的命名实体属性标志；参数学习模块，用于将所述多个标注的样本数据中的分词映射为词向量，以所述样本数据作为训练样本，对RNN命名实体识别模型进行训练，以学习所述RNN命名实体识别模型的参数。

本发明实施例还提供了一种命名实体的识别方法，包括：获取文本串；对所述文本串进行分词处理得到多个分词；通过根据权利要求5所述的方法训练得到的RNN命名实体识别模型分别获取所述分词对应的概率最大的命名实体属性标志；根据所述分词对应的概率最大的命名实体属性标志对所述文本串进行识别得到命名实体。

本发明实施例还提供了一种命名实体的识别装置，包括：文本串获取模块，用于获取文本串；文本串分词模块，用于对所述文本串进行分词处理得到多个分词；命名实体属性标志获取模块，用于通过根据权利要求17所述的装置训练得到的RNN命名实体识别模型分别获取所述分词对应的概率最大的命名实体属性标志；命名实体识别模块，用于根据所述分词对应的概率最大的命名实体属性标志对所述文本串进行识别得到命名实体。

本发明实施例提供的训练命名实体识别模型的方法、命名实体识别方法和装置，通过获取多个标注的样本数据，并将多个标注的样本数据中的分词映射为词向量，以所述样本数据作为训练样本，对RNN命名实体识别模型进行训练，以学习所述RNN命名实体识别模型的参数。与现有技术相比，无需依赖于查询日志和隐马尔科夫假设，该模型具有更好的泛化能力，能够自动、快速地识别出自然语言文本中的命名实体，提高了命名实体的识别精确度。

附图说明

图1是示出本发明实施例的基本原理框图；

图2是示出本发明实施例一的用于训练RNN命名实体识别模型的方法的流程图；

图3是示出本发明实施例一的RNN命名实体识别模型的示例性示意图；

图4是示出本发明实施例二的命名实体的识别方法的流程图；