[发明专利]一种安全领域命名实体识别方法及神经网络模型在审
申请号: | 201910091654.2 | 申请日: | 2019-01-30 |
公开(公告)号: | CN109918647A | 公开(公告)日: | 2019-06-21 |
发明(设计)人: | 马平川;姜波;卢志刚;李宁 | 申请(专利权)人: | 中国科学院信息工程研究所 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06N3/04;G06N3/08 |
代理公司: | 北京君尚知识产权代理事务所(普通合伙) 11200 | 代理人: | 司立彬 |
地址: | 100093 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种安全领域命名实体识别方法及神经网络模型。本方法为:1)将安全报告中的非结构化文本按照句子分隔开;2)统计安全报告中出现过的单词和标点符号,构建一词汇表;3)根据该词汇表构建词嵌入向量矩阵;4)将每一句子中的词汇使用对应的词嵌入向量表示;然后利用双向LSTM层对该句子进行训练;5)将词嵌入向量及其双向LSTM输出进行拼接,作为条件随机场的输入;然后使用条件随机场,学习拼接结果对应的单词与各设定标签之间的依赖关系,以及前一个标签和当前标签之间的依赖关系;6)输出具有最大概率的标签序列作为句子的标注,然后根据单词的标签,输出该句子中包含的命名实体。本发明大幅提高实体识别的效率。 | ||
搜索关键词: | 句子 命名实体 标签 单词 嵌入 神经网络模型 安全报告 安全领域 依赖关系 词汇表 构建 输出 拼接 非结构化文本 标点符号 标签序列 词汇使用 实体识别 向量表示 向量矩阵 最大概率 分隔 向量 机场 标注 统计 学习 | ||
【主权项】:
1.一种安全领域命名实体识别方法,其步骤包括:1)将安全报告中的非结构化文本按照句子分隔开;2)基于步骤1)的处理结果,统计所述安全报告中出现过的单词和标点符号,将所出现的互不相同的单词和标点符号统一称为词汇,使用所述词汇构建一词汇表;3)根据该词汇表构建词嵌入向量矩阵;其中,该词嵌入向量矩阵为m行n列的矩阵,m是词汇表中词汇的个数,n是词嵌入向量的维度;4)对步骤1)获得的每一句子,将该句子中的词汇使用对应的词嵌入向量表示;然后利用双向LSTM层对该句子进行训练;5)将词嵌入向量及其双向LSTM输出进行拼接,作为条件随机场的输入;然后使用条件随机场,学习拼接结果对应的单词与各设定标签之间的依赖关系,以及前一个标签和当前标签之间的依赖关系;6)输出具有最大概率的标签序列作为当前句子的标注,标注中包含当前句子中每个单词对应的标签;然后根据单词的标签,输出该句子中包含的命名实体。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院信息工程研究所,未经中国科学院信息工程研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910091654.2/,转载请声明来源钻瓜专利网。