[发明专利]一种命名实体识别方法、语言识别方法及系统

说明书

本发明公开了一种命名实体识别方法、语言识别方法及系统，属于自然语言处理技术领域；方法包括：训练得到字向量模型，准备实体词典；获取关联于预设的文本领域的训练语句；对训练语句进行分字，并根据字向量模型提取每个字的字向量特征；根据对应训练语句的命名实体领域的实体词典提取每个字的词典特征；拼接字向量特征和对应的词典特征分别形成关联于每个字的融合特征向量；将每个字的融合特征向量输入识别模型中，以分别输出每个字的标签信息，从而训练形成识别模型。再利用识别模型对输入语句进行识别。上述技术方案的有益效果是：提升命名实体识别的识别精度，避免漏识别或者误识别的情况发生，并且有助于对新实体的识别。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种命名实体识别方法、语言识别方法及系统。

背景技术

自然语言的处理过程中的重要步骤为识别出具有特定意义的命名实体。所谓命名实体，是指自然语言中例如人名、地名、机构名称以及歌曲名称等具有特定意义的专有名词，识别出这些专有名词在自然语言的处理过程中对语义的识别有着极大的帮助。中文的命名实体识别作为中文分词任务的延续，是中文信息处理领域的一个基础任务，其被广泛且成功地应用到信息抽取、信息检索、信息推荐以及机器翻译等任务中。例如查询语句理解的任务中，能够从查询语句中正确识别并抽取出关键的命名实体信息，就可以有效地帮助理解输入语句的意图。

现有技术中对于命名实体的识别方法通常包括：

1)基于词典的规则匹配方法，这种方法中，会根据各命名实体类别的词典集合去匹配输入语句中的子句，判断子句是否在词典集合中，从而找出关键信息的槽位。这种方法的可扩展性比较差，词典集合中不可能包括所有词语，因此对新命名实体的发现效果也不好，无法利用上下文的语义信息来进行识别。

2)基于统计的识别方法，即将命名实体的识别任务转换成序列标注的问题，并采用条件随机场(conditional random field,CRF)模型或者基于深度学习的方法来对命名实体进行识别。这种方法可以利用句子的句式语义信息来对命名实体进行识别。这种方法在识别效果上有一些提升，但是并没有融入规则的词典信息，在识别效果上还不够，依然存在漏识别和误识别的问题，并且对新发现的实体的识别效果也不够好。

发明内容

根据现有技术中存在的上述问题，现提供一种命名实体识别方法、语言识别方法及系统的技术方案，旨在提升命名实体识别的识别精度，有效减少漏识别或者误识别的情况发生，并且有助于对新实体的识别。

上述技术方案具体包括：

一种命名实体识别方法，适用于自然语言处理过程中；其中，包括预先训练形成关联于不同的文本领域内对命名实体进行识别的识别模型的方法；

预先形成关联于一个预设的所述文本领域的所述识别模型的方法具体包括：

步骤S1，预先训练得到中文的字向量模型，以及预先准备预设的所述文本领域内分别关联于不同的实体类别的所述命名实体的实体词典；

步骤S2，获取关联于预设的所述文本领域的训练语句；

步骤S3，对所述训练语句进行分字，并根据所述字向量模型提取每个字的字向量特征；

步骤S4，根据所述训练语句所对应的所述文本领域内不同的所述实体类别的所述命名实体的所述实体词典提取每个字的词典特征；

步骤S5，拼接所述字向量特征和对应的所述词典特征分别形成关联于每个字的融合特征向量；

步骤S6，将每个字的所述融合特征向量输入所述识别模型中，以分别输出每个字的标签信息，从而训练形成所述识别模型；

所述标签信息用于表示对应的字所属的所述实体类别，每个所述文本领域内包括至少一个所述实体类别；

所述命名实体识别方法还包括：