[发明专利]文本校对方法、装置、设备、介质及程序产品在审
申请号: | 202210311657.4 | 申请日: | 2022-03-28 |
公开(公告)号: | CN115204166A | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | 罗毅;陈明祥;成鹏;王熠;罗延根;宫成栋;王立欢;王越;刘国智;王宇琦 | 申请(专利权)人: | 新华通讯社 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/216 |
代理公司: | 北京东方亿思知识产权代理有限责任公司 11258 | 代理人: | 魏润洁 |
地址: | 100803 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 校对 方法 装置 设备 介质 程序 产品 | ||
1.一种文本校对方法,其特征在于,方法包括:
对目标文本进行断句分词处理,获得至少一个目标单句、以及与该目标单句对应的初始分词序列;
针对目标文本对应的每一个初始分词序列,至少根据两种预设词表校正规则进行校正处理,获得与每一初始分词序列对应的多个候选校正序列;
至少根据两种概率模型,计算与各候选校正序列对应的置信值,根据置信值对候选校正序列进行筛选;
根据置信值对多个筛选得到的候选校正序列进行融合处理,获得与初始分词序列对应的最优校正序列;
根据目标单句在目标文本中的位置,组合各最优校正序列,获得校正文本。
2.根据权利要求1的文本校对方法,其特征在于,所述预设词表校正规则至少包括预设同音词表、预设易混字表和预设固定搭配规则中的两种。
3.根据权利要求1的文本校对方法,其特征在于,所述概率模型至少包括N-gram模型、RNN模型、LSTM模型、fasttext模型和Bert模型中的两种。
4.根据权利要求2的文本校对方法,其特征在于,所述针对目标文本对应的每一个初始分词序列,至少根据两种预设词表校正规则进行校正处理,获得与每一初始分词序列对应的多个候选校正序列,包括:
针对目标文本对应的每一个初始分词序列中每一个分词,根据预设固定搭配规则进行单词单次校正处理,获得与初始分词序列对应的第一校正单句;
针对目标文本对应的每一个初始分词序列中每一个分词,根据预设同音词表和预设易混字表分别进行单词单次校正处理,获得与初始分词序列对应的第二校正单句;
针对目标文本对应的每一个初始分词序列中每一个单字,根据预设易混字表进行单字多重校正处理,获得与初始分词序列对应的第三校正单句。
5.根据权利要求4的文本校对方法,其特征在于,所述针对目标文本对应的每一个初始分词序列中每一个分词,根据预设固定搭配规则进行单词单次校正处理,获得与初始分词序列对应的第一校正单句,包括:
针对目标文本对应的每一个初始分词序列,根据预设固定搭配规则对初始分词序列中各分词进行校验,预设固定搭配规则包括多个检测词、以及与检测词对应的搭配词;
在分词为检测词的情况下,将该分词与在前n个分词和/或在后n个分词组合为第一组合词,n≥1;
判断第一组合词是否符合预设固定搭配规则;
若否,则在初始分词序列中修改该分词为该检测词对应的搭配词,生成与初始分词序列对应的第一校正单句。
6.根据权利要求5的文本校对方法,其特征在于,所述判断第一组合词是否符合预设固定搭配规则,之后包括:
若第一组合词符合预设固定搭配规则,则将第一组合词作为新的分词修改初始分词序列。
7.根据权利要求6的文本校对方法,其特征在于,所述针对目标文本对应的每一个初始分词序列中每一个分词,根据预设同音词表和预设易混字表分别进行单词单次校正处理,获得与初始分词序列对应的第二校正单句,包括:
针对目标文本对应的每一个初始分词序列中的多个分词,根据各分词在初始分词序列中的次序,分别设置各分词为中心词;
根据初始分词序列中各分词的排列次序,将中心词与在前m个分词和/或在后m个分词组合为第二组合词,m≥1;
根据预设同音词规则和预设易混字规则分别对第二组合词进行校验,根据校验结果对第二组合词的中心词进行校正处理,获得以不同分词为中心词的初始分词序列对应的第二校正单句。
8.根据权利要求7的文本校对方法,其特征在于,所述至少根据两种概率模型,计算与各候选校正序列对应的置信值,根据置信值对候选校正序列进行筛选,包括:
将第二校正单句分别输入多个已训练完成的第二概率模型中,分别输出与第二校正单句对应的概率值;
针对每一第二校正单句对应的多个概率值进行投票融合处理,获得与各第二校正单句对应的置信值;
筛选得到置信值高于第二预设阈值的第二校正单句。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华通讯社,未经新华通讯社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210311657.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:加热烹调装置
- 下一篇:盲检测方法及相关用户设备