[发明专利]语义表示模型的预训练方法、装置、电子设备和存储介质

权利要求书

1.一种语义表示模型的预训练方法，包括：

获取样本文本中的至少一个待掩码字符片段；

将所述样本文本中所述至少一个待掩码字符片段中的每个所述待掩码字符片段分别替换为一个掩码字符，以得到处理后的样本文本；

根据所述待掩码字符片段和所述处理后的样本文本，对语义表示模型进行预训练；

所述根据所述待掩码字符片段和所述处理后的样本文本，对语义表示模型进行预训练，包括：

将所述处理后的样本文本输入到语义表示模型中，以得到所述掩码字符的字符预测结果；

根据所述字符预测结果和所述待掩码字符片段，训练所述语义表示模型；

所述语义表示模型包括嵌入层、语义表示层和分类层，所述将所述处理后的样本文本输入到语义表示模型中，以得到所述掩码字符的字符预测结果，包括：

获取所述处理后的样本文本中各个字符的位置向量和字符向量；

通过所述嵌入层对各个字符的位置向量和字符向量进行联合，以得到各个字符对应的联合向量；其中，所述对各个字符的位置向量和字符向量进行联合的方式包括：对各个字符的位置向量和字符向量进行相加处理，或者，对各个字符的位置向量和字符向量进行拼接；

将所述各个字符对应的联合向量输入到语义表示层，以得到所述掩码字符的语义表示向量；

将所述掩码字符的语义表示向量输入到所述分类层，以得到所述掩码字符的字符预测结果；

其中，所述分类层包括粗粒度分类子层和细粒度分类子层，所述将所述掩码字符的语义表示向量输入到所述分类层，以得到所述掩码字符的字符预测结果，包括：

将所述掩码字符的语义表示向量输入到所述粗粒度分类子层，以得到所述掩码字符的粗粒度预测结果；

将所述掩码字符的语义表示向量输入到所述细粒度分类子层，以得到所述掩码字符的细粒度预测结果；

结合所述粗粒度预测结果和所述细粒度预测结果得到所述掩码字符的字符预测结果。

2.根据权利要求1所述的方法，其中，所述根据所述字符预测结果和所述待掩码字符片段，训练所述语义表示模型，包括：

根据所述粗粒度预测结果、所述细粒度预测结果和所述待掩码字符片段，确定所述语义表示模型的损失函数值；

根据所述损失函数值，对所述语义表示模型中的所述语义表示层的参数进行调整。

3.根据权利要求2所述的方法，其中，根据所述粗粒度预测结果、所述细粒度预测结果和所述待掩码字符片段，确定所述语义表示模型的损失函数值，包括：

根据所述粗粒度预测结果和所述待掩码字符片段，确定出第一损失函数值；

将所述细粒度预测结果和所述待掩码字符片段中的各个字符进行比较，并根据比较结果，确定出第二损失函数值；

根据所述第一损失函数值和所述第一损失函数值，确定所述语义表示模型的损失函数值。