[发明专利]基于评论数据的文本分类方法及装置、设备和介质

权利要求书

1.一种基于评论数据的文本分类方法，其特征在于，包括：

获取评论数据，并对所述评论数据进行文本预处理，以生成待处理分词数据；

对所述待处理分词数据进行词向量化处理，以生成对应的词向量表示数据；

将所述词向量表示数据输入至目标语言表示模型，以生成对应的句子向量表示数据；

将所述句子向量表示数据输入至第一分类模型，由所述第一分类模型确定所述评论数据是否属于问题文本数据；以及

将所述句子向量表示数据输入至第二分类模型，由所述第二分类模型确定所述评论数据对应的问题类型分类。

2.根据权利要求1所述的基于评论数据的文本分类方法，其特征在于，所述对所述评论数据进行文本预处理，以生成待处理分词数据，包括：

对所述评论数据进行正则匹配处理，以生成正则文本数据；

对所述正则文本数据进行分词切分处理，以生成字项分词数据；

对所述字项分词数据进行词语修正处理，以生成所述待处理分词数据。

3.根据权利要求2所述的基于评论数据的文本分类方法，其特征在于，所述对所述字项分词数据进行词语修正处理，包括：

获取停用词参考表，并根据所述停用词参考表删除所述字项分词数据中的停用词；以及

确定所述字项分词数据中待修改词语，并对所述待修改词语进行替换处理。

4.根据权利要求1所述的基于评论数据的文本分类方法，其特征在于，所述对所述待处理分词数据进行词向量化处理，以生成对应的词向量表示数据，包括：

获取分词词汇表，并构建所述分词词汇表对应的向量空间；

根据所述向量空间对所述待处理分词数据进行词向量化处理，以得到所述评论数据的词向量表示数据。

5.根据权利要求1所述的基于评论数据的文本分类方法，其特征在于，在所述将所述词向量表示数据输入至目标语言表示模型之前，所述方法还包括：

获取初始语言表示模型以及初始训练数据；

获取掩膜标识与预设比例，并按照所述预设比例从所述初始训练数据中随机选取目标数量个替换训练数据；

根据所述掩膜标识对所述替换训练数据进行替换处理，以生成目标训练数据；

将所述目标训练数据输入至初始语言表示模型，并获取所述初始语言表示模型的输出结果；

根据所述输出结果对所述初始语言表示模型的参数进行调整，以得到所述目标语言表示模型。

6.根据权利要求1所述的基于评论数据的文本分类方法，其特征在于，所述将所述句子向量表示数据输入至第一分类模型，由所述第一分类模型确定所述评论数据是否属于问题文本数据，包括：

将所述句子向量表示数据输入至所述第一分类模型；

由所述第一分类模型输出与所述句子向量表示数据对应的第一结果向量；

根据所述第一结果向量确定所述评论数据是否属于问题文本数据。

7.根据权利要求1所述的基于评论数据的文本分类方法，其特征在于，所述将所述句子向量表示数据输入至第二分类模型，由所述第二分类模型确定所述评论数据对应的问题类型分类，包括：

将所述句子向量表示数据输入至所述第二分类模型；

由所述第二分类模型输出与所述句子向量表示数据对应的第二结果向量；其中，所述第二结果向量包括多个置信度；

获取与各所述置信度对应的置信度阈值，根据所述置信度与所述置信度阈值之间的大小关系确定所述评论数据对应的问题类型分类。