[发明专利]实体提取方法和装置、计算机设备和存储介质有效
申请号: | 201710909581.4 | 申请日: | 2017-09-29 |
公开(公告)号: | CN108304372B | 公开(公告)日: | 2021-08-03 |
发明(设计)人: | 崔建苓 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 何平;邓云鹏 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实体 提取 方法 装置 计算机 设备 存储 介质 | ||
1.一种实体提取方法,其特征在于,包括:
获取待提取的输入信息和场景信息;
对所述输入信息进行预处理,得到所述输入信息的文本特征;
根据所述场景信息确定对应的预先定义的实体正则表达式;
根据所述文本特征识别得到所述输入信息的各实体,得到实体列表;
根据对应的所述实体正则表达式,组合所述实体列表中各实体得到语句组合,并计算各语句组合的置信度;
基于置信度大于预设阈值的语句组合的正则表达式,进行正则匹配,得到正则实体提取结果;
获取对利用正则表达式提取的正则实体提取结果的反馈,并基于所述反馈、所述输入信息和所述正则实体提取结果得到标注数据;反馈为第三方或用户对所述正则实体提取结果正确或错误的评价;
根据所述标注数据训练实体提取模型;
当所述实体提取模型的性能在第一预设值和第二预设值之间时,对新的待提取的输入信息,将文本特征输入到所述实体提取模型得到提取模型输出,还执行所述根据所述场景信息确定对应的预先定义的实体正则表达式的步骤,以利用正则表达式提取实体;其中所述第一预设值大于所述第二预设值;
当所述实体提取模型有提取模型输出而利用正则表达式提取未有实体提取结果时,对所述实体提取模型的预测结果的置信度进行惩罚。
2.根据权利要求1所述的方法,其特征在于,在对所述输入信息进行预处理,得到所述输入信息的文本特征的步骤之后,还包括:
当所述实体提取模型的性能达到第一预设值时,将所述文本特征输入到所述实体提取模型得到提取模型输出;
当所述实体提取模型的性能小于第二预设值时,执行所述根据所述场景信息确定对应的预先定义的实体正则表达式的步骤,以利用正则表达式提取实体。
3.根据权利要求1所述的方法,其特征在于,当利用正则表达式提取有实体提取结果而所述实体提取模型未有提取模型输出时,对正则实体权重进行惩罚。
4.根据权利要求1所述的方法,其特征在于,所述根据对应的所述实体正则表达式,组合所述实体列表中各实体得到语句组合,并计算各语句组合的置信度的步骤,包括:
确定所述实体列表中预先定义的实体正则表达式对应的实体;
根据对应的实体正则表达式,组合实体列表中确定的各实体得到语句组合,并计算各语句组合的置信度。
5.一种实体提取装置,其特征在于,包括:信息获取模块、预处理模块、查找模块、识别模块、组合模块和匹配模块;
所述信息获取模块,用于获取待提取的输入信息和场景信息;
所述预处理模块,用于对所述输入信息进行预处理,得到所述输入信息的文本特征;
所述查找模块,用于根据所述场景信息确定对应的预先定义的实体正则表达式;
所述识别模块,用于根据所述文本特征识别得到所述输入信息的各实体,得到实体列表;
所述组合模块,用于根据对应的所述实体正则表达式,组合所述实体列表中各实体得到语句组合,并计算各语句组合的置信度;
所述匹配模块,用于基于置信度大于预设阈值的语句组合的正则表达式,进行正则匹配,得到正则实体提取结果;
所述装置还包括:标注数据获取模块、训练模块、预测模块和优化模块;
所述标注数据获取模块,用于获取对利用正则表达式提取的正则实体提取结果的反馈,并基于所述反馈、所述输入信息和所述正则实体提取结果得到标注数据;反馈为第三方或用户对所述正则实体提取结果正确或错误的评价;
所述训练模块,用于根据所述标注数据训练实体提取模型;
所述预测模块,用于当所述实体提取模型的性能在第一预设值和第二预设值之间时,对新的待提取的输入信息,将文本特征输入到所述实体提取模型得到提取模型输出;
所述查找模块,还用于当所述实体提取模型的性能在所述第一预设值和所述第二预设值之间时,根据所述场景信息确定对应的预先定义的实体正则表达式,以利用正则表达式提取实体;其中所述第一预设值大于所述第二预设值;
所述优化模块,用于当所述实体提取模型有提取模型输出而利用正则表达式提取未有实体提取结果时,对所述实体提取模型的预测结果的置信度进行惩罚。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710909581.4/1.html,转载请声明来源钻瓜专利网。