[发明专利]同义语料生成方法、装置、计算机系统及可读存储介质在审
申请号: | 202010467190.3 | 申请日: | 2020-05-28 |
公开(公告)号: | CN111695356A | 公开(公告)日: | 2020-09-22 |
发明(设计)人: | 郝新东;王科强 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/30;G06F40/247;G06F16/332;G06N3/04;G06N3/08 |
代理公司: | 北京英特普罗知识产权代理有限公司 11015 | 代理人: | 程超 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 同义 语料 生成 方法 装置 计算机系统 可读 存储 介质 | ||
1.一种同义语料生成方法,其特征在于,包括:
创建服务器创建用于储存训练语料的语料库,及周期性地获取训练语料并储存;
生成服务器从所述语料库获取训练语料;对所述训练语料进行编码和解码以获得语义与所述训练语料一致或相似的同义转换语料;和/或改变所述训练语料中词汇的顺序,及将所述训练语料中的词汇替换为其同义词以分别获得排序同义语料;和/或预测所述训练语料的词汇获得预测结果,并将所述训练语料中的词汇替换为所述预测结果获得词汇预测语料;
关联服务器汇总所述同义转换语料、和/或排序同义语料、和/或词汇预测语料获得同义语料集,及将所述同义语料集与所述训练语料关联,并将所述训练语料及其同义语料集发送所述创建服务器以储存至所述语料库。
2.根据权利要求1所述的同义语料生成方法,其特征在于,周期性地获取训练语料并储存的步骤,包括:
创建服务器的定时模块设置启动时间;
创建服务器的爬取模块根据启动时间通过通用爬虫从预设的语料库或互联网获得训练语料;
汇总所述同义转换语料、和/或排序同义语料、和/或词汇预测语料获得同义语料集之后,还包括:
将所述同义语料集上传至区块链。
3.根据权利要求1所述的同义语料生成方法,其特征在于,将对所述训练语料进行编码和解码以获得语义与所述训练语料一致或相似的同义转换语料的步骤,包括:
生成服务器的相似模块通过对训练语料进行编码获得训练字节流,及对所述训练字节流进行解码获得同义转换语料;
生成服务器的回译模块将所述训练语料翻译为外文语料,并将所述外文语料翻译为所述训练语料的语种的同义转换语料。
4.根据权利要求3所述的同义语料生成方法,其特征在于,生成服务器的相似模块通过对训练语料进行编码获得训练字节流,及对所述训练字节流进行解码获得同义转换语料的步骤,包括:
相似模块的编码器对训练语料进行编码并识别所述训练语料中的语义,以获得反应所述训练语料语义的训练字节流;
相似模块的解码器对所述训练字节流进行解码,并通过识别状态信息较多的数据及忽略状态信息较少的数据,以获得与所述训练语料语义一致或相近的同义转换语料。
5.根据权利要求3所述的同义语料生成方法,其特征在于,将所述训练语料翻译为外文语料,并将所述外文语料翻译为所述训练语料的语种的同义转换语料的步骤,包括:
回译模块的第一翻译单元将所述训练语料的语种设为第一语种,并将所述训练语料翻译为第二语种的外文语料;
回译模块的第二翻译单元将所述外文语料翻译为第一语种的同义转换语料。
6.根据权利要求1所述的同义语料生成方法,其特征在于,改变所述训练语料中词汇的顺序,及将所述训练语料中的词汇替换为其同义词以分别获得排序同义语料的步骤,包括:
生成服务器的分词模块对所述训练语料进行分词,获得至少具有一个训练词汇的训练词汇集,及对根据分词所获得的训练词汇进行词性标注,以识别所述训练词汇中的命名实体和非命名实体;
生成服务器的排序模块对所述训练词汇集中的训练词汇进行重新排序,以获得具有不同词汇排序的词汇排序集,将各词汇排序集中的训练词汇依次排列分别获得排序同义语料;
生成服务器的词库模块获取所述训练词汇集中属于非命名实体的训练词汇并将其设为待替换词汇,获取所述待替换词汇的同义词并使其部分或全部替换所述待替换词汇获得同义词汇集,排列所述同义词汇集中的词汇以分别获得排序同义语料。
7.根据权利要求1所述的同义语料生成方法,其特征在于,预测所述训练语料的词汇获得预测结果,并将所述训练语料中的词汇替换为所述预测结果获得词汇预测语料的步骤,包括:
生成服务器的面具模块遮盖训练语料中的训练词汇获得面具语料;
生成服务器的预测模块根据所述面具语料预测其遮盖的训练词汇并生成预测结果,将预测结果替换所述训练词汇获得词汇预测语料。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010467190.3/1.html,转载请声明来源钻瓜专利网。