[发明专利]一种适用于多语言多领域的命名实体识别方法有效
| 申请号: | 201910169547.7 | 申请日: | 2019-03-06 |
| 公开(公告)号: | CN109871541B | 公开(公告)日: | 2023-04-28 |
| 发明(设计)人: | 杨尚明;郑子强;张云;杜春慧;刘勇国;李巧勤 | 申请(专利权)人: | 电子科技大学 |
| 主分类号: | G06F40/295 | 分类号: | G06F40/295 |
| 代理公司: | 北京众合诚成知识产权代理有限公司 11246 | 代理人: | 苗艳荣 |
| 地址: | 610054 *** | 国省代码: | 四川;51 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | 本发明公开了一种适用于多语言多领域的命名实体识别方法,包括以下步骤:构建初始化语料库,使用word2vec训练字嵌入矩阵;设定阈值n;对句子进行顺序遗忘编码;使用前向及后向并行LSTM分别计算长度为1,2…,n的单词记忆单元状态;融合前向及后向并行LSTM记忆单元状态;计算前向及后向LSTM的隐藏单元状态,级联前向LSTM和后向LSTM隐藏单元状态;输入单向LSTM进行实体标签预测;使用L2正则的句子级对数似然损失来训练模型,以平衡模型复杂度和准确度。本发明通过FOFE编码,充分利用了句子中字序列信息,省去了外部知识库,没有领域依赖,只需要大量的训练语料库,均能取得较好的NER结果。 | ||
| 搜索关键词: | 一种 适用于 语言 领域 命名 实体 识别 方法 | ||
【主权项】:
1.一种适用于多语言多领域的命名实体识别方法,其特征在于,包括以下步骤:S1、构建初始化语料库,使用word2vec训练字嵌入矩阵;S2、设定阈值n;S3、对句子进行顺序遗忘编码(Fixed‑size Ordinally Forgetting Encoding,FOFE);S4、使用前向并行LSTM分别计算长度为1,2…,n的单词记忆单元状态;同时使用后向并行LSTM分别计算长度为1,2…,n的单词记忆单元状态;S5、融合前向并行LSTM记忆单元状态;同时融合后向并行LSTM记忆单元状态;S6、计算前向LSTM的隐藏单元状态,同时计算后向LSTM的隐藏单元状态;S7、级联前向LSTM和后向LSTM隐藏单元状态;S8、输入单向LSTM进行实体标签预测;S9、使用L2正则的句子级对数似然损失来训练模型,以平衡模型复杂度和准确度。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910169547.7/,转载请声明来源钻瓜专利网。





