[发明专利]无监督的文本分类方法、装置、电子设备及存储介质

权利要求书

1.一种无监督的文本分类方法，其特征在于，所述方法包括：

获取文本训练集合，基于所述文本训练集合构建第一训练集合及第二训练集合；

获取预构建的原始聚类模型，利用所述原始聚类模型的聚类层对所述第一训练集合进行聚类处理，并计算聚类后的第一训练集合的聚类损失；

利用所述原始聚类模型的对比学习层计算所述第二训练集合的对比损失，联合所述聚类损失及所述对比损失对所述原始聚类模型进行训练，得到标准聚类模型；

利用所述标准聚类模型对待分类文本进行分类，得到分类结果；

其中，所述基于所述文本训练集合构建第一训练集合及第二训练集合，包括：

从所述文本训练集合中选取预设个数的文本文档作为训练实例，汇总所有选取的训练实例得到所述第一训练集合；

从所述第一训练集合中的训练实例中随机选取预设个数的单词，利用预设的掩码语言模型将所述预设个数的单词随机插入或替换所述第一训练集合的每个训练实例的文本中，得到增广实例；

汇总所述训练实例以及所述训练实例对应的增广实例，得到所述第二训练集合；

其中，所述联合所述聚类损失及所述对比损失对所述原始聚类模型进行训练，得到标准聚类模型，包括：

基于预构建的平衡因子计算所述聚类损失及所述对比损失的联合损失值；

基于所述联合损失值来更新所述原始聚类模型的参数，当模型训练不满足预设的训练条件时，返回所述利用所述原始聚类模型的聚类层对所述第一训练集合进行聚类处理的步骤，直至模型训练满足所述训练条件时，得到所述标准聚类模型。

2.如权利要求1所述的无监督的文本分类方法，其特征在于，所述利用所述原始聚类模型的聚类层对所述第一训练集合进行聚类处理，并计算聚类后的第一训练集合的聚类损失，包括：

获取预设的类别集合，计算所述第一训练集合中的每个训练实例被分为所述类别集合中特定类别的类别概率；

利用所述聚类层对所述类别概率进行辅助优化，得到辅助概率；

计算所述第一训练集合中每个训练实例的类别概率及辅助概率的KL散度值；

将所述KL散度值作为所述训练实例的损失值，汇总所有训练实例的损失值得到所述第一训练集合的聚类损失。

3.如权利要求2所述的无监督的文本分类方法，其特征在于，所述计算所述第一训练集合中的每个训练实例被分为所述类别集合中特定类别的类别概率，包括：

利用预设的特征映射模型对所述第一训练集合中的每个训练实例进行特征向量映射，得到第一向量集合；

利用下述t分布计算公式计算所述第一向量集合中的每个训练实例被分为所述类别集合中第k个类别的类别概率：

其中，为所述类别概率，表示第一向量集合中向量化后的训练实例，为预设的类别数，表示第个类别的类心，为固定参数。

4.如权利要求1所述的无监督的文本分类方法，其特征在于，所述利用所述原始聚类模型的对比学习层计算所述第二训练集合的对比损失，包括：

随机选取所述第二训练集合中的训练实例以及所述训练实例对应的增广实例作为一对正样本，将未选取的所有实例作为负样本；

计算所述正样本相较于所述负样本的对比损失，直至所述第二训练集合中的训练实例均被选为正样本时，汇总所有正样本的对比损失，得到所述第二训练集合的对比损失。

5.如权利要求4所述的无监督的文本分类方法，其特征在于，所述计算所述正样本相较于所述负样本的对比损失，直至所述第二训练集合中的训练实例均被选为正样本时，汇总所有正样本的对比损失，得到所述第二训练集合的对比损失，包括：

利用所述特征映射模型对所述第二训练集合中的正样本及负样本进行特征向量映射，得到第二向量集合；

利用预设的对比损失函数计算所述第二向量集合中向量化后的正样本相较于向量化后的负样本的对比损失；

在所述第二训练集合中的训练实例均被选为正样本时，汇总所有正样本的对比损失，得到所述第二训练集合的对比损失。