[发明专利]新闻实体识别方法、装置、计算机设备和存储介质在审
申请号: | 201811090023.0 | 申请日: | 2018-09-18 |
公开(公告)号: | CN109492215A | 公开(公告)日: | 2019-03-19 |
发明(设计)人: | 黄萍;汪伟;肖京 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06N3/04;G06N3/08 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 王宁 |
地址: | 518033 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 向量 标注 新闻语料 中文字符 实体识别 字符序列 计算机设备 标签序列 存储介质 公司名称识别 自然语言处理 双向语言 准确度 歧义 输出 词向量 预设 合并 申请 | ||
1.一种新闻实体识别方法,所述方法包括:
获取待标注新闻语料数据,并获取所述待标注新闻语料数据中的每一个中文字符的字符序列;
将所述字符序列输入到预先训练好的双向语言模型中获取输出值,得到所述中文字符的第一字向量;
将所述字符序列输入到预设词向量模型中获取输出值,得到所述中文字符的第二字向量;
合并所述第一字向量与所述第二字向量,得到与所述待标注新闻语料数据中的中文字符对应的待标注字向量;
将所述待标注字向量输入到预先训练好的实体识别模型中获取输出值,得到所述待标注新闻语料数据的最佳标签序列,并从所述最佳标签序列中提取出待标注新闻语料数据中的公司名称。
2.根据权利要求1所述的方法,其特征在于,所述实体识别模型包括双向循环神经网络以及条件随机场模型;
所述将所述待标注字向量输入到预先训练好的实体识别模型中获取输出值,得到所述待标注新闻语料数据的最佳标签序列的步骤,包括:
将所述待标注字向量输入到双向循环神经网络中,获取所述待标注新闻语料数据中的中文字符对应的特征向量;
将所述特征向量输入至条件随机场模型中,获取所述待标注新闻语料数据的最佳标签序列。
3.根据权利要求1所述的方法,其特征在于,所述将所述字符序列输入到预先训练好的双向语言模型中获取输出值的步骤之前,还包括:
建立一个双向递归神经网络模型,其中所述双向神经网络模型包括前向递归神经网络隐含层以及后向递归神经网络隐含层;
获取无标注语料样本,将所述无标注语料样本中的中文字符转化为对应的字符序列;
将所述无标注语料样本的字符序列输入至所述双向的递归神经网络模型中,利用所述无标注语料样本的字符序列对所述前向递归神经网络隐含层以及所述后向递归神经网络隐含层进行无监督训练,得到所述双向语言模型。
4.根据权利要求3所述的方法,其特征在于,所述将所述字符序列输入到预先训练好的双向语言模型中获取输出值,得到所述中文字符的第一字向量的步骤,包括:
将所述待标注新闻语料数据的字符序列输入至所述前向递归神经网络隐含层中,获取前向隐状态序列;
将所述待标注新闻语料数据的字符序列输入至所述后向递归神经网络隐含层中,获取后向隐状态序列;
合并所述前向隐状态序列以及所述后向隐状态序列生成所述中文字符的第一字向量。
5.根据权利要求3所述的方法,其特征在于,所述得到所述双向语言模型的步骤之后,包括:
获取新闻语料训练样本,并获取所述新闻语料训练样本中的每一个中文字符的字符序列,其中,所述新闻语料训练样本中的中文字符具有对应的字符标签;
将所述新闻语料训练样本中的字符序列分别输入至所述双向语言模型以及所述预设词向量模型中获取输出值,得到第三字向量以及第四字向量;
合并所述第三字向量与所述第四字向量,得到与所述新闻语料训练样本中的中文字符对应的字向量样本;
根据所述新闻语料训练样本中的中文字符对应的字向量样本以及字符标签,对所述实体识别模型进行有监督训练。
6.根据权利要求1所述的方法,其特征在于,所述条件随机场模型中采用的标注规则为BIOES模式;
所述从所述最佳标签序列中提取出待标注新闻语料数据中的公司名称的步骤,包括:
从最佳标签序列中提取连续标注的B标签、I标签以及E标签对应的中文字符,将提取得到的中文字符组合作为识别出的企业名称。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811090023.0/1.html,转载请声明来源钻瓜专利网。