[发明专利]同义语料生成方法、装置、计算机系统及可读存储介质

说明书

本发明涉及人工智能的大数据技术领域，公开了同义语料生成方法、装置、计算机系统及可读存储介质，包括：从语料库获取训练语料；对训练语料进行编码和解码以获得语义与训练语料一致或相似的同义转换语料；和/或改变训练语料中词汇的顺序，及将训练语料中的词汇替换为其同义词以分别获得排序同义语料；和/或预测训练语料的词汇获得预测结果，并将训练语料中的词汇替换为预测结果获得词汇预测语料；汇总同义转换语料、和/或排序同义语料、和/或词汇预测语料获得同义语料集，及将同义语料集与训练语料关联。本发明极大的扩充了训练语料的数量，解决了避免了AI问答系统出现欠拟合的情况发生，提高了该系统的泛化性和鲁棒性。

技术领域

本发明涉及人工智能的大数据技术领域，尤其涉及一种同义语料生成方法、装置、计算机系统及可读存储介质。

背景技术

随着近些年大数据以及人工智能技术在各行各业的普及与发展，市场上为应对用户大量问答系统，提供了一种AI问答系统，用于通过人工智能与用户实现问答互动的效果，若要AI问答系统能够准确识别用户提问的语义，就需要使用大量的训练语料对其进行训练。

然而，当训练语料较少时将无法对AI问答系统在某一语义上进行足够的训练，导致AI问答系统在该语义上出现欠拟合，进而造成AI问答系统的泛化性和鲁棒性较差。

发明内容

本发明的目的是提供一种同义语料生成方法、装置、计算机系统及可读存储介质，基于大数据技术，用于解决现有技术存在的因缺少足够的训练语料对AI问答系统在某一语义上进行足够的训练，导致AI问答系统在该语义上出现欠拟合，进而造成AI问答系统的泛化性和鲁棒性较差的问题；本申请可应用于智慧医疗场景中，从而推动智慧城市的建设。

为实现上述目的，本发明提供一种同义语料生成方法，包括：

创建服务器创建用于储存训练语料的语料库，及周期性地获取训练语料并储存；

生成服务器从所述语料库获取训练语料；对所述训练语料进行编码和解码以获得语义与所述训练语料一致或相似的同义转换语料；和/或改变所述训练语料中词汇的顺序，及将所述训练语料中的词汇替换为其同义词以分别获得排序同义语料；和/或预测所述训练语料的词汇获得预测结果，并将所述训练语料中的词汇替换为所述预测结果获得词汇预测语料；

关联服务器汇总所述同义转换语料、和/或排序同义语料、和/或词汇预测语料获得同义语料集，及将所述同义语料集与所述训练语料关联，并将所述训练语料及其同义语料集发送所述创建服务器以储存至所述语料库。

上述方案中，周期性地获取训练语料并储存的步骤，包括：

创建服务器的定时模块设置启动时间；

创建服务器的爬取模块根据启动时间通过通用爬虫从预设的语料库或互联网获得训练语料；

汇总所述同义转换语料、和/或排序同义语料、和/或词汇预测语料获得同义语料集之后，还包括：

将所述同义语料集上传至区块链。

上述方案中，将对所述训练语料进行编码和解码以获得语义与所述训练语料一致或相似的同义转换语料的步骤，包括：

生成服务器的相似模块通过对训练语料进行编码获得训练字节流，及对所述训练字节流进行解码获得同义转换语料；

生成服务器的回译模块将所述训练语料翻译为外文语料，并将所述外文语料翻译为所述训练语料的语种的同义转换语料。

上述方案中，生成服务器的相似模块通过对训练语料进行编码获得训练字节流，及对所述训练字节流进行解码获得同义转换语料的步骤，包括：

相似模块的编码器对训练语料进行编码并识别所述训练语料中的语义，以获得反应所述训练语料语义的训练字节流；