[发明专利]识别文本的方法、装置、电子设备及介质在审

专利信息
申请号: 202010541344.9 申请日: 2020-06-12
公开(公告)号: CN111723575A 公开(公告)日: 2020-09-29
发明(设计)人: 陈曦;刘芳;王振众;龚小龙;麻志毅 申请(专利权)人: 杭州未名信科科技有限公司;浙江省北大信息技术高等研究院
主分类号: G06F40/295 分类号: G06F40/295;G06F40/289;G06K9/00;G06N3/04;G06N3/08
代理公司: 北京辰权知识产权代理有限公司 11619 代理人: 付婧
地址: 311200 浙江省杭州市萧*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 识别 文本 方法 装置 电子设备 介质
【说明书】:

本申请公开了一种识别文本的方法、装置、电子设备及介质。其中,本申请中,可以利用预先训练的深度学习模型对目标文本进行实体特征识别,得到候选名称实体列表并将候选名称实体列表与企业名称库中的多个名称信息进行一一匹配,得到至少一个匹配结果,从而将至少一个匹配结果中高于命中匹配率的候选名称实体作为识别目标文本所得到的名称实体。通过应用本申请的技术方案,可以采用深度学习模型提取文本中可能存在的名称实体,利用过滤词表过滤掉一部分识别错误的实体作为候选公司实体,再借助于企业名称库和企业实体映射表,将候选公司对应到具体的企业名称库中。进而避免相关技术中存在的从文本中提取有效名称实体的效率很低的问题。

技术领域

本申请中涉及数据处理技术,尤其是一种识别文本的方法、装置、电子设备及介质。

背景技术

由于通信时代和社会的兴起,通信领域已经随着越来越多用户的参与而不断发展。

进一步的,名称实体是指人名、机构名、地名以及其他所有以名称为标识的实体,更广泛地说,名称实体还包括数字、日期、货币、地址、数量短语等。命名实体识别(NamedEntity Recognition NER)的主要任务就是从某些文本中提取出名称实体并加以归类。名称实体识别是信息抽取、信息检索、机器翻译、问答系统等多种自然语言处理技术必不可少的组成部分。

然而,相关技术中在名称实体提取方法的过程中,通常需要对整篇文本进行逐一遍历和匹配,耗时较长,且在文本噪声较大的文本匹配过程中会出现大量的无效匹配,从而导致从文本中提取有效名称实体的效率很低。

发明内容

本申请实施例提供一种识别文本的方法、装置、电子设备及介质,本申请实施例用于解决相关技术中存在的通常需要对整篇文本进行逐一遍历和匹配,耗时较长,从而导致提取有效名称实体的效率很低的问题。

其中,根据本申请实施例的一个方面,提供的一种识别文本的方法,其特征在于,包括:

利用预先训练的深度学习模型对目标文本进行实体特征识别,得到候选名称实体列表;

将所述候选名称实体列表与企业名称库中的多个名称信息进行一一匹配,得到至少一个匹配结果;

将所述至少一个匹配结果中高于命中匹配率的候选名称实体作为识别所述目标文本所得到的名称实体。

可选地,在基于本申请上述方法的另一个实施例中,所述利用预先训练的深度学习模型对目标文本进行实体特征识别,得到候选名称实体列表之前,包括:

获取未训练的深度学习模型,所述深度学习模型包括双向长短期记忆神经网络和条件随机场模型中;

对预设的样本语料数据进行预处理,得到预设长度且带有标注的标准语料;

构造所述预设长度且带有标注的标准语料中,每个字符的维度向量;

基于每个字符的维度向量,训练所述双向长短期记忆神经网络,得到训练后的双向长短期记忆神经网络。

可选地,在基于本申请上述方法的另一个实施例中,所述得到训练后的目标双向长短期记忆神经网络之后,包括:

基于所述训练后的双向长短期记忆神经网络,获取标准语料中每个字符的预测标签值;

根据所述每个字符的预测标签值和字符的真实标签值训练所述条件随机场模型,得到训练后的条件随机场模型。

可选地,在基于本申请上述方法的另一个实施例中,所述得到训练后的条件随机场模型之后,包括:

利用所述训练好的双向长短期记忆神经网络以及所述训练好的条件随机场模型逐句对所述目标文本进行实体特征识别,得到所述候选名称实体列表。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州未名信科科技有限公司;浙江省北大信息技术高等研究院,未经杭州未名信科科技有限公司;浙江省北大信息技术高等研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010541344.9/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top