[发明专利]新闻实体识别方法、装置、计算机设备和存储介质

说明书

本申请涉及一种基于自然语言处理的新闻实体识别方法、装置、计算机设备和存储介质。该方法包括：获取待标注新闻语料数据，并获取待标注新闻语料数据中的每一个中文字符的字符序列；将字符序列输入到预先训练好的双向语言模型中获取输出值，得到中文字符的第一字向量；将字符序列输入到预设词向量模型中获取输出值，得到中文字符的第二字向量；合并第一字向量与第二字向量，得到中文字符对应的待标注字向量；将待标注字向量输入到预先训练好的实体识别模型，得到待标注新闻语料数据的最佳标签序列，并从最佳标签序列中提取出待标注新闻语料数据中的公司名称。采用本方法能够使得有歧义的公司名称的识别结果减少，提高公司名称识别结果的准确度。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种新闻实体识别方法、装置、计算机设备和存储介质。

背景技术

目前，对新闻语料中公司名称的识别的主导技术是监督式学习，例如传统的隐马尔科夫模型(HMMS)、条件随机场算法(Conditional Random Field algorithm，CRF)等机器学习方法，以及近几年被提出来的循环神经网络(Recurrent Neural Network，RNN)等人工神经网络方法，这些方法在序列标注方法上已经取得了较好的表现。但是，机器学习方法过度的依赖人工提取特征和特定的语言资源，神经网络方法虽然在模型中能够实现特征的自动抽取，但有需要大量的有标注或注释的语料进行参数训练，而新闻语料中的公司名称已标注或注释的语料相对而言较少，难以训练复杂的模型；而新闻语料中的公司名称常常会以公司名称的简称出现，或者会出现一些新的公司名称，利用该模型对新闻语料文本的公司名称的识别效果并不理想。

发明内容

基于此，有必要针对传统的新闻实体识别模型对公司名称的识别准确度低的技术问题，提供一种新闻实体识别方法、装置、计算机设备和存储介质。

一种新闻实体识别方法，所述方法包括：

获取待标注新闻语料数据，并获取所述待标注新闻语料数据中的每一个中文字符的字符序列；

将所述字符序列输入到预先训练好的双向语言模型中获取输出值，得到所述中文字符的第一字向量；

将所述字符序列输入到预设词向量模型中获取输出值，得到所述中文字符的第二字向量；

合并所述第一字向量与所述第二字向量，得到与所述待标注新闻语料数据中的中文字符对应的待标注字向量；

将所述待标注字向量输入到预先训练好的实体识别模型中获取输出值，得到所述待标注新闻语料数据的最佳标签序列，并从所述最佳标签序列中提取出待标注新闻语料数据中的公司名称。

在其中一个实施例中，所述实体识别模型包括双向循环神经网络以及条件随机场模型；

所述将所述待标注字向量输入到预先训练好的实体识别模型中获取输出值，得到所述待标注新闻语料数据的最佳标签序列的步骤，包括：

将所述待标注字向量输入到双向循环神经网络中，获取所述待标注新闻语料数据中的中文字符对应的特征向量；

将所述特征向量输入至条件随机场模型中，获取所述待标注新闻语料数据的最佳标签序列。

在其中一个实施例中，所述将所述字符序列输入到预先训练好的双向语言模型中获取输出值的步骤之前，还包括：

建立一个双向递归神经网络模型，其中所述双向神经网络模型包括前向递归神经网络隐含层以及后向递归神经网络隐含层；

获取无标注语料样本，将所述无标注语料样本中的中文字符转化为对应的字符序列；

将所述无标注语料样本的字符序列输入至所述双向的递归神经网络模型中，利用所述无标注语料样本的字符序列对所述前向递归神经网络隐含层以及所述后向递归神经网络隐含层进行无监督训练，得到所述双向语言模型。