[发明专利]一种故障文本的表示方法及装置

说明书

本申请公开了一种故障文本的表示方法及装置，在该方法中，首先，对故障文本进行词频统计，获得故障文本的词频统计结果；然后，通过主题建模模型对词频统计结果进行主题建模，获得第一主题概率分布结果；再根据第一主题概率分布结果，保留故障文本中预设数量的故障句；最后，通过向量表示方法对预设数量的故障句进行向量转换，获得故障文本对应的故障文本数据向量。可见，该方法根据该第一主题概率分布结果，对一部分故障句进行排除，仅保留预设数量的故障句，即对故障文本进行去噪，利用保留的故障句转换得到的故障文本数据向量表示该故障文本，能够提高故障文本的表征能力，提高模型训练的训练效果，从而提高故障文本分类模型的性能。

技术领域

本申请涉及文本处理技术领域，尤其涉及一种故障文本的表示方法及装置。

背景技术

在软件开发和软件使用的过程中，难以避免出现故障的情况，而软件故障可能会造成十分严重的后果。一般情况下，软件发生故障后会生成故障文本，如何根据故障文本进行分类，确定故障的类型，对于故障定位以及故障修复具有十分重要的意义。

其中，故障文本的表示能力，是对故障文本实现准确分类的重要因素之一。现有技术中，故障文本的表示方法通常为：采用词嵌入Word2Vec方法等向量表示方法将故障文本转换为故障文本数据向量。然而，在该故障文本的表示方法中，通过Word2Vec方法得到的故障文本数据向量存在数据稀疏和数据维度高的问题，导致故障文本的表征不明显，影响故障文本分类模型的训练效果，进一步导致故障文本分类模型的分类性能差。

因此，如何提高故障文本的表征能力，成为目前亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种故障文本的表示方法及装置，旨在提高故障文本的表征能力。

第一方面，本申请实施例提供了一种故障文本的表示方法，所述方法包括：

对故障文本进行词频统计，获得所述故障文本的词频统计结果，所述故障文本包括多条故障句；

通过主题建模模型对所述词频统计结果进行主题建模，获得第一主题概率分布结果；

根据所述第一主题概率分布结果，保留所述故障文本中预设数量的故障句；

通过向量表示方法对所述预设数量的故障句进行向量转换，获得所述故障文本对应的故障文本数据向量。

可选地，所述通过主题建模模型对所述词频统计结果进行主题建模，获得第一主题概率分布结果，包括：

通过所述主题建模模型对所述词频统计结果进行主题建模，获得所述故障文本对应的多个主题；

根据所述多个主题对所述故障文本的主题概率进行计算，获得所述第一主题概率分布结果。

可选地，所述第一主题概率分布结果包括所述故障文本对应的第二主题概率分布结果和所述多条故障句对应的多个第三主题概率分布结果；所述根据所述第一主题概率分布结果，保留所述故障文本中预设数量的故障句，包括：

根据所述第二主题概率分布结果，确定最大主题概率对应的目标主题；

根据所述多个第三主题概率分布结果，对所述多条故障句中的所述目标主题对应的概率进行排序，获得排序后的多条故障句；

保留所述排序后的多条故障句中所述预设数量的故障句。

可选地，所述向量表示方法具体为词嵌入word2vec方法。

可选地，所述主题建模模型具体为隐含狄利克雷分布LDA模型。

第二方面，本申请实施例提供了一种故障文本分类模型训练方法，所述方法包括：

获取故障文本数据向量，所述故障文本数据向量是根据前述第一方面所述的故障文本的表示方法得到的；