[发明专利]一种基于神经网络的藏文语法纠错方法有效
申请号: | 202110293441.5 | 申请日: | 2021-03-19 |
公开(公告)号: | CN113033188B | 公开(公告)日: | 2022-12-20 |
发明(设计)人: | 华果才让 | 申请(专利权)人: | 华果才让 |
主分类号: | G06F40/253 | 分类号: | G06F40/253;G06F40/30;G06F40/284;G06N3/04 |
代理公司: | 重庆乐泰知识产权代理事务所(普通合伙) 50221 | 代理人: | 郭泽培 |
地址: | 810003 青海省西宁市城*** | 国省代码: | 青海;63 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 神经网络 藏文 语法 纠错 方法 | ||
1.一种基于神经网络的藏文语法纠错方法,其特征在于,包括以下步骤:
获取待纠错样本,并对所述待纠错样本进行切词和语义判断,并构建对应的纠错词集;
基于所述纠错词集,按照设定的取样方式对切词得到的纠错藏文进行修改;
将修改得到的修改藏文输入改进的神经网络中,并输出对应的损失值;
将当前所述损失值与所述待纠错样本对应的样本损失值进行比较,得到满足要求的纠错文本;
获取待纠错样本,并对所述待纠错样本进行切词和语义判断,并构建对应的纠错词集,包括:
利用爬虫技术获取待纠错样本,并基于设定的切词规则对所述待纠错样本进行切词,得到多个纠错藏文;
基于评判准则对得到的多个所述纠错样本进行语义判断和错别字判断,并基于判断结果,构建对应的语义纠错词集和错别字纠错词集,其中,所述评判准则为基于词库、《三十颂》和《字性组织法》;
基于所述纠错词集,按照设定的取样方式对切词得到的纠错藏文进行修改,包括:
基于所述错别字纠错词集,将符合要求的对应的藏文替换字符对所述纠错藏文进行替换;
基于所述语义纠错词集,按照随机抽取不放回的形式,利用所述语义纠错词集中的语义纠错样本对所述纠错样本进行修改;
基于所述错别字纠错词集,将符合要求的对应的藏文替换字符对所述纠错藏文进行替换之后,所述方法还包括:
对进行错别字替换后的所述纠错藏文再次进行语义判断,若不满足所述评判准则,则对所述纠错藏文进行修改,若满足所述评判准则,则完成纠错。
2.如权利要求1所述的基于神经网络的藏文语法纠错方法,其特征在于,将修改后的所述纠错藏文输入改进的神经网络中,并输出对应的损失值之前,所述方法还包括:
基于获取的神经网络,在所述神经网络的输出层后添加一个自注意力机制层,得到改进的神经网络;
基于大数据网络,获取多个训练集和测试集,并利用所述训练集和所述测试集对所述改进的神经网络进行训练和测试,直至满足要求。
3.如权利要求2所述的基于神经网络的藏文语法纠错方法,其特征在于,将修改得到的修改藏文输入改进的神经网络中,并输出对应的损失值,包括:
将修改得到的修改藏文的每一个字符位置进行编码,并将编码后的所述修改藏文输入所述改进的神经网络中,并利用所述自注意力机制对所述修改藏文的每一个字符进行检测;
基于设定的损失函数公式计算出每一个所述修改藏文对应的损失值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华果才让,未经华果才让许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110293441.5/1.html,转载请声明来源钻瓜专利网。