[发明专利]文本处理方法、装置、可读介质及电子设备

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

获取待处理的目标文本；

根据所述目标文本，利用预先生成的文本转换模型，确定所述目标文本的语言学特征信息，所述语言学特征信息包括对应于多种预设语言学维度的语言学特征；

其中，所述文本转换模型是对预先生成的基准模型进行知识蒸馏而得到的，所述基准模型根据包含有多个第一样本文本及各第一样本文本对应的第一样本语言学特征信息的第一样本数据生成，所述文本转换模型根据包含有多个第二样本文本的第二样本数据生成，且所述第二样本数据是通过对所述第一样本数据进行数据增广而得到的。

2.根据权利要求1所述的方法，其特征在于，所述第二样本文本通过如下方式得到：

按照预设的分词粒度，对第一样本文本进行分词处理，得到分词序列；

对所述分词序列中的部分分词进行相似性替换，得到至少一个增广序列；

将所述第一样本文本和所述增广序列对应的文本添加到所述第二样本文本中。

3.根据权利要求2所述的方法，其特征在于，所述对所述分词序列中的部分分词进行相似性替换，得到至少一个增广序列，包括：

若所述分词序列中需进行相似性替换的目标分词属于预设类型，利用预先生成的分词替换模型确定与所述目标分词对应的替换词，并利用所述替换词代替所述目标分词，所述分词替换模型是基于第三样本数据生成的，所述第三样本数据包括多个分词样本以及各分词样本是否属于所述预设类型的标签信息；

若所述分词序列中需进行相似性替换的目标分词不属于所述预设类型，根据所述目标分词对应的词向量确定与所述目标分词相似的替换词，并利用所述替换词代替所述目标分词。

4.根据权利要求1所述的方法，其特征在于，所述第一样本数据还包括所述第一样本文本对应的第一样本标识序列，所述第一样本标识序列由构成所述第一样本文本的单位文本各自对应的文本标识组成；

所述基准模型通过如下方式生成：

确定初始的基准模型，所述基准模型包括第一嵌入层、第一特征提取网络和至少一个第一特征预测网络，所述第一特征预测网络各自对应一种所述预设语言学维度；

将本次模型处理所使用的第一样本标识序列输入至本次模型处理的基准模型，得到本次模型处理的基准模型的第一输出内容，所述第一输出内容包括本次模型处理的基准模型中每一第一特征预测网络的输出内容；

在满足第二停止条件的情况下，将本次模型处理的基准模型确定为生成的基准模型；

在不满足所述第二停止条件的情况下，根据所述第一输出内容和本次模型处理所使用的第一样本标识序列对应的第一样本语言学特征信息，确定本次模型处理的模型损失值，并利用本次模型处理的模型损失值更新本次模型处理的基准模型，再将更新后的基准模型用于下一次模型处理，直至满足所述第二停止条件。

5.根据权利要求4所述的方法，其特征在于，本次模型处理的模型损失值根据本次模型处理的基准模型中每一第一特征预测网络各自对应的初始损失值以及各第一特征预测网络的计算权重进行加权求和计算得到，其中，第一特征预测网络对应的计算权重与该第一特征预测网络对应的初始损失值负相关。

6.根据权利要求4或5所述的方法，其特征在于，每一所述预设语言学维度包含多种语言学类别；所述第一样本数据还包括所述第一样本标识序列中各文本标识在各个所述预设语言学维度中所属的语言学类别；

第一特征预测网络对应的初始损失值根据所述第一输出内容中对应于该第一特征预测网络的输出内容、本次模型处理所使用的第一样本标识序列中各文本标识在各个所述预设语言学维度中所属的语言学类别以及该第一特征预测网络对应的各语言学类别的计算权重进行加权求和计算得到，其中语言学类别的计算权重与该语言学类别在所述第一样本数据中出现的次数负相关。