[发明专利]基于评论数据的文本分类方法及装置、设备和介质

说明书

本公开是关于一种基于评论数据的文本分类方法及装置、设备以及介质，涉及自然语言处理技术领域，可以应用于对文本数据进行分类的场景。该基于评论数据的文本分类方法包括：获取评论数据，对评论数据进行文本预处理，以生成待处理分词数据；对待处理分词数据进行词向量化处理，以生成对应的词向量表示数据；将词向量表示数据输入至目标语言表示模型，以生成对应的句子向量表示数据；将句子向量表示数据分别输入至第一分类模型和第二分类模型，由第一分类模型确定评论数据是否属于问题文本数据，以及由第二分类模型确定评论数据对应的问题类型分类。本公开可以通过对评论数据的信息挖掘，筛选出有质量问题的评论文本以及质量问题的具体分类。

技术领域

本公开涉及自然语言处理技术领域，具体而言，涉及一种基于评论数据的文本分类方法、基于评论数据的文本分类装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网的发展，越来越多的人通过电商网站来购物，通过分析挖掘用户购物评价，可以得到各项商品的特性。进而通过挖掘每一项商品的特性，有目标的来改进商品。例如，通过分析生鲜类产品的用户评论，可以挖掘出生鲜产品的质量问题占比以及质量问题的根源，通过挖掘质量问题的根源，制定改进商品的处理策略，以降低商品中有质量问题的比例。

基于这样的背景，如何基于商品评论文本类型数据进行质量问题分类以及质量问题挖掘就成为了研究的热点。对评论数据分类的核心是筛选出有质量数据，在对评论数据进行分类时，通常采用关键词匹配和基于词表征(Word Embedding)的文本分类模型等方法。

然而，关键词匹配的缺点是过于简单，无法挖掘到更为深入的语义信息，无法基于关键词匹配来对文本的质量问题类型进行挖掘；另外，基于Word Embedding的文本分类模型的缺点是需要大量有标注的数据来训练分类模型，而现阶段，标注成本过高，该方法耗费过大。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于评论数据的文本分类方法、基于评论数据的文本分类装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服采用关键词匹配的方法无法对评论文本的质量问题进行挖掘以及采用基于Word Embedding的文本分类模型导致标注成本过高，耗费过大的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本公开的第一方面，提供一种基于评论数据的文本分类方法，包括：获取评论数据，并对评论数据进行文本预处理，以生成待处理分词数据；对待处理分词数据进行词向量化处理，以生成对应的词向量表示数据；将词向量表示数据输入至目标语言表示模型，以生成对应的句子向量表示数据；将句子向量表示数据输入至第一分类模型，由第一分类模型确定评论数据是否属于问题文本数据；以及将句子向量表示数据输入至第二分类模型，由第二分类模型确定评论数据对应的问题类型分类。

可选的，对评论数据进行文本预处理，以生成待处理分词数据，包括：对评论数据进行正则匹配处理，以生成正则文本数据；对正则文本数据进行分词切分处理，以生成字项分词数据；对字项分词数据进行词语修正处理，以生成待处理分词数据。

可选的，对字项分词数据进行词语修正处理，包括：获取停用词参考表，并根据停用词参考表删除字项分词数据中的停用词；以及确定字项分词数据中待修改词语，并对待修改词语进行替换处理。

可选的，对待处理分词数据进行词向量化处理，以生成对应的词向量表示数据，包括：获取分词词汇表，并构建分词词汇表对应的向量空间；根据向量空间对待处理分词数据进行词向量化处理，以得到评论数据的词向量表示数据。