[发明专利]语义表示模型的预训练方法、装置、电子设备和存储介质

说明书

本公开提供了一种语义表示模型的预训练方法、装置、电子设备和存储介质，涉及计算机技术领域，尤其涉深度学习、自然语言处理等人工智能技术领域。具体实现方案为：通过获取样本文本中的至少一个待掩码字符片段，并将样本文本中的每个待掩码字符片段分别替换为一个掩码字符，以得到处理后的样本文本，从而根据待掩码字符片段和处理后的样本文本，对语义表示模型进行预训练。由此，在语义表示模型的预训练过程中，利用一个掩码字符对样本文本中的一个待掩码字符片段进行掩码，并基于处理后的样本文本和待掩码字符片段对语义表示模型进行预训练，避免了将掩码字符的长度信息提供给模型，提升了预训练模型表示能力的训练效果及模型性能。

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、自然语言处理等人工智能技术领域，尤其涉及语义表示模型的预训练方法、装置、电子设备和存储介质。

背景技术

目前，自然语言理解领域的流行技术都取得了良好的效果。相关技术中，一般使用大量的无监督文本进行语义表示模型自监督的预训练学习，再结合任务对应的有监督数据对预训练的语义表示模型进行微调参数。语义表示模型是得到下游自然语言理解任务对应的处理模型的基础。

发明内容

本公开提供了一种语义表示模型的预训练方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种语义表示模型的预训练方法，包括：获取样本文本中的至少一个待掩码字符片段；将所述样本文本中所述至少一个待掩码字符片段中的每个所述待掩码字符片段分别替换为一个掩码字符，以得到处理后的样本文本；根据所述待掩码字符片段和所述处理后的样本文本，对语义表示模型进行预训练。

根据本公开的另一方面，提供了一种语义表示模型的预训练装置，包括：获取模块，用于获取样本文本中的至少一个待掩码字符片段；替换模块，用于将所述样本文本中所述至少一个待掩码字符片段中的每个所述待掩码字符片段分别替换为一个掩码字符，以得到处理后的样本文本；训练模块，用于根据所述待掩码字符片段和所述处理后的样本文本，对语义表示模型进行预训练。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的语义表示模型的预训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开实施例申请的电子设备的语义表示模型的预训练方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本公开的语义表示模型的预训练方法。

上述申请中的一个实施例具有如下优点或有益效果：

通过获取样本文本中的至少一个待掩码字符片段，并将样本文本中的每个待掩码字符片段分别替换为一个掩码字符，以得到处理后的样本文本，从而根据待掩码字符片段和处理后的样本文本，对语义表示模型进行预训练。由此，在语义表示模型的预训练过程中，利用一个掩码字符对样本文本中的一个待掩码字符片段进行掩码，并基于处理后的样本文本和待掩码字符片段对语义表示模型进行预训练，避免了将掩码字符的长度信息提供给模型，提升了预训练模型表示能力的训练效果及模型性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一个实施例提供的一种语义表示模型的预训练方法的流程示意图；

图2是根据本公开另一个实施例提供的一种语义表示模型的预训练方法的流程示意图；