[发明专利]文本纠错方法、装置、电子设备及可读存储介质在审
申请号: | 202110702630.3 | 申请日: | 2021-06-24 |
公开(公告)号: | CN113420546A | 公开(公告)日: | 2021-09-21 |
发明(设计)人: | 杨修远 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06K9/00;G06K9/62;G06F17/16 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 电子设备 可读 存储 介质 | ||
1.一种文本纠错方法,其特征在于,所述文本纠错方法包括:
获取文本图像,识别所述文本图像中的文字,得到文本文字以及每个文本文字的文字置信度,利用所述文字置信度,从所述文本文字中筛选得到文本错字;
利用训练完成的文字预测模型,预测所述文本错字的一个或者多个候选替换文字,并计算每个所述候选替换文字的候选置信度;
计算所述文本错字和每个所述候选替换文字之间的字音字形编辑距离,根据所述字音字形编辑距离计算所述文本错字和每个所述候选替换文字的字音字形相似度;
根据所述候选置信度及所述字音字形相似度,从所述一个或者多个候选替换文字中选择目标替换文字,并利用所述目标替换文字替换所述文本错字。
2.如权利要求1所述的文本纠错方法,其特征在于,所述识别所述文本图像中的文字,得到文本文字以及每个文本文字的文字置信度,包括:
利用OCR文本识别技术,提取所述文本图像中的每一个文字结构;
将所述文字结构与预构建的结构匹配字库中的每个文字的字形结构进行匹配,得到所述文字结构与所述结构匹配字库中的每个文字的匹配相似度,汇总所有所述匹配相似度,得到匹配相似度集;
从所述匹配相似度集中选择最大的匹配相似度,并获取所述最大的匹配相似度对应的文字,得到所述文字结构对应的文本文字,并将所述最大的匹配相似度作为文本文字的文字置信度。
3.如权利要求1所述的文本纠错方法,其特征在于,所述利用训练完成的文字预测模型,预测所述文本错字的一个或者多个候选替换文字,并计算每个所述候选替换文字的候选置信度之前,该方法还包括:
步骤A:获取训练文本,从所述训练文本中提取待掩码语句,对所述待掩码语句执行掩码操作,得到已掩码语句;
步骤B:将所述已掩码语句中的每个文字转换为字向量,得到字向量集,并对所述字向量集执行位置编码,得到定位字向量集;
步骤C:将所述定位字向量集转换为定位向量矩阵,根据所述定位向量矩阵的维度,生成分类迭代转换矩阵;
步骤D:利用预构建的Softmax函数和所述定位向量矩阵、分类迭代转换矩阵,计算得到与所述定位字向量集对应的原始向量相关矩阵;
步骤E:利用所述原始向量相关矩阵和所述定位向量矩阵,调节预构建的前馈神经网络中的迭代权重因子,得到目标向量相关矩阵;
步骤F:在所述定位向量矩阵中,提取所述已掩码语句中的掩码文字的定位字向量,得到定位掩码向量,利用所述目标向量相关矩阵,提取所述定位掩码向量与所述定位向量矩阵中其它定位字向量的相关度,根据所述相关度生成一个或者多个候选替换文字和所述候选替换文字的候选置信度;
步骤G:利用所述一个或者多个候选替换文字,替换所述掩码文字,得到候选替换语句集,利用预构建的结巴分词算法对所述候选替换语句集进行切分,得到所述一个或者多个候选替换文字的切分状态;
步骤H:提取所述切分状态为组成候选替换词语的候选替换文字,提取候选替换词语中未被替换的文字,得到索引文字;
步骤I:利用所述索引文字与预构建的索引文字词库,索引得到待匹配词集;
步骤J:利用所述候选替换词集与所述待匹配词集进行匹配,得到词语重合率;
步骤K:判断所述词语重合率是否小于预设的重合阈值;
若所述词语重合率小于预设的重合阈值,则执行步骤L:更新所述分类迭代转换矩阵,并返回步骤D;
若所述词语重合率不小于预设的重合阈值,则执行步骤M:停止训练,得到所述文字预测模型。
4.如权利要求3所述的文本纠错方法,其特征在于,所述利用预构建的Softmax函数和所述定位向量矩阵、分类迭代转换矩阵,计算得到与所述定位字向量集对应的原始向量相关矩阵,包括:
将所述分类迭代转换矩阵拆分为中心转换矩阵、关联转换矩阵和权重转换矩阵;
利用所述定位向量矩阵和所述中心转换矩阵、关联转换矩阵以及权重转换矩阵分别进行点乘,得到中心向量矩阵、关联向量矩阵以及权重向量矩阵;
将所述中心向量矩阵、关联向量矩阵以及权重向量矩阵作为所述Softmax函数的输入参数,计算得到所述原始向量相关矩阵。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110702630.3/1.html,转载请声明来源钻瓜专利网。