[发明专利]中英混合语料的生成方法、装置、设备及存储介质有效
申请号: | 201910022453.7 | 申请日: | 2019-01-10 |
公开(公告)号: | CN109871534B | 公开(公告)日: | 2020-03-24 |
发明(设计)人: | 杨福星;曹琼;郝玉峰 | 申请(专利权)人: | 北京海天瑞声科技股份有限公司 |
主分类号: | G06F40/242 | 分类号: | G06F40/242;G06F40/284;G06F40/289;G06F40/157 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 张子青;刘芳 |
地址: | 100083 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 混合 语料 生成 方法 装置 设备 存储 介质 | ||
1.一种中英混合语料的生成方法,其特征在于,包括:
获取中文语料数据,所述中文语料数据包括至少一个中文句子;
对所述中文语料数据进行分词处理及词性标注,获得标注后的中文数据;
根据所述标注后的中文数据及预设的中英文混合句子中的英文词的词性序列特征,生成中英混合语料,所述词性序列特征包括至少一种词性序列;
其中,对于所述中文语料数据中的每个中文句子,将其对应的标注后的中文数据与所述词性序列特征进行匹配,若确定所述中文句子与所述词性序列特征中的目标词性序列一致,则基于预设的中英对应词典,将所述中文句子中与所述目标词性序列对应的中文词转为英文词,获得所述中文句子对应的中英混合语料。
2.根据权利要求1所述的方法,其特征在于,在所述根据所述标注后的中文数据及预设的中英文混合句子中的英文词的词性序列特征,生成中英混合语料之前,所述方法还包括:
基于原始中英混合语料数据及预设的用户词典,获取英文词的词性序列特征;
其中,所述原始中英混合语料数据包括至少一个中英混合句子,所述用户词典包括词及各词对应的词性。
3.根据权利要求2所述的方法,其特征在于,所述基于原始中英混合语料数据及预设的用户词典,确定英文词的词性序列特征,包括:
基于所述用户词典,采用结巴分词对所述原始中英混合语料数据进行分词处理及词性标注处理,获得标注后的混合语料数据;
对于每个中英混合句子,根据其对应的标注后的混合语料数据,提取所述中英混合句子对应的英文词的词性序列;
根据各中英混合句子对应的英文词的词性序列,获得所述词性序列特征。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述对所述中文语料数据进行分词处理及词性标注,获得标注后的中文数据,包括:
基于预设的用户词典,采用结巴分词对所述中文语料数据进行分词处理及词性标注,获得标注后的中文数据,其中,所述用户词典包括词及各词对应的词性。
5.一种中英混合语料的生成装置,其特征在于,包括:
获取模块,用于获取中文语料数据,所述中文语料数据包括至少一个中文句子;
处理模块,用于对所述中文语料数据进行分词处理及词性标注,获得标注后的中文数据;
生成模块,用于根据所述标注后的中文数据及预设的中英文混合句子中的英文词的词性序列特征,生成中英混合语料,所述词性序列特征包括至少一种词性序列;
其中,对所述中文语料数据中的每个中文句子,将其对应的标注后的中文数据与所述词性序列特征进行匹配,若确定所述中文句子与所述词性序列特征中的目标词性序列一致,则基于预设的中英对应词典,将所述中文句子中与所述目标词性序列对应的中文词转为英文词,获得所述中文句子对应的中英混合语料。
6.一种计算机设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-4中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京海天瑞声科技股份有限公司,未经北京海天瑞声科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910022453.7/1.html,转载请声明来源钻瓜专利网。