[发明专利]一种神经语言网络模型的训练方法、装置、设备及介质

说明书

本发明实施例提供了一种神经语言网络模型的训练方法、装置、设备及存储介质，用以降低训练样本数据的标注量，同时提高语言模型的训练效率。所述方法包括：获取训练样本数据；循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，得到新的神经语言网络模型。

技术领域

本发明涉及神经网络领域，尤其涉及一种神经语言网络模型的训练方法、装置、设备及存储介质。

背景技术

近些年来，基于海量数据的深度学习方法在文本领域取得了较好的效果，但其学习过程大部分都是有监督的，即需要大量的带标注的训练数据。而现实场景中海量数据的标注工作不仅是单调乏味，浪费时间，而且需要耗费一定的人力和物力，如领域文本的实体标注，分类等任务。

为了解决此类问题，提出了迁移学习(transfer learning)的概念，即试图将源任务获得的知识，应用于目标领域。在文本领域，迁移学习最常见的应用是神经语言模型网络，如ELMo、GPT和BERT等模型，其中BERT模型是目前效果最好的。现有技术中先使用BERT模型在大规模语料上进行无监督学习得到的预训练模型，然后进行特定文本任务的迁移学习，实验表明虽然可以显著的降低文本深度网络对标注数据量的需求，但在实际任务中对语言模型的训练需要消耗大量时间，并且经模型训练识别后，仍需要数千级以上的待标注训练数据，特别是针对一些特殊应用领域，如医学、政务等，需专家进行标注，仍需花费较大的代价。

综上所述，现有技术中的文本深度学习网络，训练数据标注量较大，语言模型的训练时间较长。

发明内容

本发明实施例提供了一种神经语言网络模型的训练方法、装置、设备及存储介质，用以降低训练样本数据的标注量，同时提高语言模型的训练效率。

第一方面，本发明实施例提供一种神经语言网络模型的训练方法，包括：

获取训练样本数据；

循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：

利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；

依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；

获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。

本发明实施例提供的神经语言网络模型的训练方法，根据业务需求，获取训练样本数据后，循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：首先，利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；然后依据预设选择策略，并基于每个训练样本数据的识别概率，在未进行标注的训练样本数据中选择出部分训练样本数据，请求进行人工标注；最后获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。与现有技术相比，在训练过程对神经语言网络模型不断进行优化，提高了模型的训练效率，经不断优化的模型识别后，有效降低了训练样本数据的标注量，减少了样本数据标注的成本。

在一种可能的实施方式中，基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，包括：