[发明专利]基于Voronoi图的训练样本遮掩方法、装置及相关设备

说明书

本发明公开了基于Voronoi图的训练样本遮掩方法、装置及相关设备。该方法包括获取训练语料的单词集合和主题词集合，其中，所述主题词集合中的单词均为主题词；基于所述单词集合和主题词集合的单词属性构建Voronoi图，并将所述单词集合中的非主题词划分到所述Voronoi图的网格中；根据网格影响力对所述Voronoi图中的网格进行排序，得到网格排序队列；对所述网格排序队列各网格内的单词进行随机遮掩，得到训练样本队列。该方法中基于训练语料的单词集合和主题词集合的单词构建Voronoi图，根据Voronoi图的网格影响力对语料进行排序，对网格排序队列进行随机遮掩，相比传统训练样本遮掩方法，本方法遮掩的训练样本能够具有更深层次的样本特征。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Voronoi图的训练样本遮掩方法、装置及相关设备。

背景技术

鉴于海量文本数据内部本身隐含了极为丰富的语义特征，预训练语言模型又采用了拟合能力强大的神经网络模型，因此能够学习到这些隐藏语义特征。近年来预训练语言模型例如基于海量文本数据训练的ELMO、GPT、BERT等，在文本分类、智能问答、机器阅读、文本摘要等自然语言处理的众多细分领域都取得了很好效果。由于预训练语言模型的训练需要消耗大量计算资源，非一般开发者能够承受。通常普通开发者只需要下载这些预训练语言模型，再在训练样本集上进行微调(fine-tuning)，就可以在垂直领域任务上达到很好的效果。

但现有的预训练模型在进行训练时，大多采取的方式只是简单地将句子中的部分词进行遮掩，然后训练模型来预测被遮掩位置原来的词。这样训练得到的模型学习到的语义特征仍然不够丰富。

发明内容

本发明实施例提供了一种基于Voronoi图的训练样本遮掩方法、装置及相关设备，通过将自然语言处理领域技术和几何学中的Voronoi图结合起来，利用各自特点，旨在解决现有技术中遮掩的样本对模型训练效果不佳的问题。

第一方面，本发明实施例提供了一种基于Voronoi图的训练样本遮掩方法，其包括：

获取训练语料的单词集合和主题词集合，其中，所述主题词集合中的单词均为主题词，所述单词集合中的单词包含主题词和非主题词；

基于所述单词集合和主题词集合的单词属性构建Voronoi图，并将所述单词集合中的非主题词划分到所述Voronoi图的网格中，其中，所述Voronoi图中每一主题词对应一个网格，一个网格至少包含一个非主题词；

根据网格影响力对所述Voronoi图中的网格进行排序，得到网格排序队列；

对所述网格排序队列各网格内的单词进行随机遮掩，得到训练样本队列。

第二方面，本发明实施例提供了一种基于Voronoi图的训练样本遮掩装置，其包括：

获取模块，用于获取训练语料的单词集合和主题词集合，其中，所述主题词集合中的单词均为主题词，所述单词集合中的单词包含主题词和非主题词；

构建模块，用于基于所述单词集合和主题词集合的单词属性构建Voronoi图，并将所述单词集合中的非主题词划分到所述Voronoi图的网格中，其中，所述Voronoi图中每一主题词对应一个网格，一个网格至少包含一个非主题词；

排序模块，用于根据网格影响力对所述Voronoi图中的网格进行排序，得到网格排序队列；

遮掩模块，用于对所述网格排序队列各网格内的单词进行随机遮掩，得到训练样本队列。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于Voronoi图的训练样本遮掩方法。