[发明专利]命名实体识别方法、装置、介质以及设备有效
申请号: | 201811038043.3 | 申请日: | 2018-09-06 |
公开(公告)号: | CN109145303B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 杨韬 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 命名 实体 识别 方法 装置 介质 以及 设备 | ||
1.一种命名实体识别方法,其特征在于,包括:
获取待识别的文本;
对所述待识别的文本进行分词处理得到分词序列;
将所述分词序列输入命名实体识别模型,获取所述命名实体识别模型输出的各个分词对应的命名实体属性标识;其中,所述命名实体识别模型用于根据分词序列中各分词自身及其上下文各部分的多维分词特征,通过前馈神经网络识别得到各分词对应的命名实体属性标识,所述多维分词特征包括一元组分词和多元组分词;
根据所述分词序列中各分词对应的命名实体属性标识,确定所述待识别的文本中的命名实体;
所述命名实体识别模型包括:级联的特征提取模块、编码模块以及分类模块;
所述特征提取模块用于针对分词序列中的各分词,提取各分词自身以及各分词上下文各个部分的多维分词特征,将各分词各个部分的多维分词特征映射为词向量,根据各分词各个部分的词向量生成各分词各自对应的语义向量;
所述编码模块用于根据所述特征提取模块输出的语义向量,通过前馈神经网络学习得到各分词对应的命名实体属性特征向量,所述命名实体属性特征向量用于表征分词在所有命名实体属性标识类别下表现的特征向量;
所述分类模块用于根据所述编码模块输出的各分词对应的命名实体属性特征向量,分类得到各分词对应的命名实体属性标识。
2.根据权利要求1所述的方法,其特征在于,所述特征提取模块包括:级联的多维分词特征提取模型和词嵌入模型;
所述多维分词特征提取模型用于按照上下文选取窗口从分词序列中,针对各个分词提取得到分词本身及其上下文各个部分的多维分词特征;
所述词嵌入模型用于根据所述多维分词特征提取模型针对各个分词提取的多维分词特征,通过词嵌入表获取与各个分词特征对应的语义向量。
3.根据权利要求2所述的方法,其特征在于,所述特征提取模块还包括:映射模型;
所述映射模型用于采用哈希函数将多元组分词映射到固定长度的整数空间,得到与多元组分词对应的整数索引,所述固定长度为多元组词嵌入表的长度;
则所述词嵌入模型具体用于根据所述多维分词特征提取模型针对各个分词提取的分词本身及其上下文各个部分的一元组分词,通过一元组词嵌入表获取得到对应的词向量;以及,针对各个分词提取的分词本身及其上下文各个部分的多元组分词,根据所述映射模型输出的多元组分词对应的整数索引,从多元组词嵌入表中获取对应的词向量。
4.根据权利要求1所述的方法,其特征在于,所述命名实体识别模型还包括:上下文权重衰减模块,所述上下文权重衰减模块与所述特征提取模块相连;
所述上下文权重衰减模块用于根据上下文衰减权重对所述特征提取模块处理的各分词各个部分的词向量进行加权处理得到优化词向量,并将所述优化词向量输出至所述特征提取模块;
所述特征提取模块具体用于针对分词序列中的各分词,提取各分词自身以及各分词上下文各个部分的多维分词特征,将各分词各个部分的多维分词特征映射为词向量,并根据所述优化词向量生成各分词各自对应的优化语义向量。
5.根据权利要求1所述的方法,其特征在于,所述命名实体识别模型还包括:属性标识转移模块,所述属性标识转移模块与所述编码模块和分类模块相连;
所述属性标识转移模块用于根据属性标识概率转移矩阵对所述编码模块输出的命名实体属性特征向量进行修正得到修正的命名实体属性特征向量,将所述修正的命名实体属性特征向量输出至所述分类模块;
则所述分类模块具体用于根据所述属性标识转移模块输出的各分词对应的所述修正的命名实体属性特征向量,分类得到各分词对应的命名实体属性标识。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述命名实体属性标识包括:
命名实体的起始标识、命名实体的延续标识、和非命名实体标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811038043.3/1.html,转载请声明来源钻瓜专利网。