[发明专利]一种数据增强的方法和设备

说明书

本发明提出了一种数据增强的方法和设备，该方法包括：基于与内容相关的中文专业数据对GPT2语言模型进行调整，以得到与内容相关领域的第一语言模型；通过数据集对第一语言模型进行调整，以得到第二语言模型；数据集中的各数据包括内容与内容对应的类别；在第二语言模型输入对应类别的前缀，得到多个对应类别的语料；利用由数据集训练得到的分类模型对各语料进行评分，并基于评分筛选出的语料作为数据增强后的数据。通过GPT2语言模型，解决了生成语料的多样性的问题，且基于中文专业数据对GPT2语言模型的调整，可以生成任意特定类别的医疗语料，通过GPT2语言模型和分类模型双重筛选的方式，避免了所生成得语料不能推断对应类别的问题。

技术领域

本发明涉及数据增强处理技术领域，特别涉及一种数据增强的方法和设备

背景技术

具体的，目前在处理医疗领域的分类任务时，需要收集特定类别的医疗语料，同时还依赖专业的医生对数据进行标注由此，若存在在数据量不足的情况，现有的技术方案中，往往依赖于同义词替换，或者利用back-translation(反向翻译)来做数据增强，生成新的有标注的医疗语料，但是这种方法存在一些问题：

首先，医疗领域下的同义词词典构建困难，并且生成的数据的多样性不够，其次，利用back-translation在通用领域往往能取得不错的效果，但是在医疗领域下往往存在医疗实体漏翻译的情况，导致生成的语料不能推断出对应的类别。

由此，目前需要一种更好的办法来解决该技术问题。

发明内容

针对现有技术中的缺陷，本发明提出了一种数据增强的方法和设备，通过GPT2语言模型，解决了生成语料的多样性的问题，且基于中文专业数据对GPT2语言模型的调整，可以生成任意多的特定类别的医疗语料，本方案中采用GPT2语言模型和分类模型双重筛选的方式，避免了所生成得语料不能推断对应类别的问题。

具体的，本发明提出了以下具体的实施例：

本发明实施例提出了一种数据增强的方法，包括：

基于与内容相关的中文专业数据对GPT2语言模型进行调整，以得到与所述内容相关领域的第一语言模型；其中，所述GPT2语言模型基于中文通用数据训练得到；

通过数据集对所述第一语言模型进行调整，以得到第二语言模型；所述数据集中的各数据包括所述内容与所述内容对应的类别；

在所述第二语言模型输入对应所述类别的前缀，得到多个对应所述类别的语料；

利用由所述数据集训练得到的分类模型对各所述语料进行评分，并基于所述评分筛选出的所述语料作为数据增强后的数据。

在一个具体的实施例中，

所述中文通用数据包括以下一个或多个的任意组合：中文百度百科数据、中文的新闻数据、中文的书籍数据。

在一个具体的实施例中，所述中文专业数据包括：中文医疗文献数据；

所述第一语言模型为医疗领域的语言模型。

在一个具体的实施例中，

所述“通过数据集对所述第一语言模型进行调整，以得到第二语言模型”包括：

将数据集中的各数据按照指定格式对内容与类别进行拼接，得到拼接数据；

将所述拼接数据输入所述第一语言模型，以对所述第一语言模型进行调整，得到第二语言模型。

在一个具体的实施例中，所述拼接数据为：

y₁SEPx₁EOSy₂SEPx₂EOS···y_nSEPx_n；