[发明专利]文本分类方法、装置、设备以及存储介质

说明书

本发明提出了一种文本分类方法、装置、设备以及存储介质。通过无监督机器学习方式学习第一文本集中的第一文本的各个单字和/或连续多字的分布表征；针对第二文本集中至少部分第二文本中的每个第二文本，基于学习到的第一文本集中对应单字和/或连续多字的分布表征，得到该第二文本中各个单字和/或连续多字的分布表征；至少以第二文本中各个单字和/或连续多字的分布表征为训练样本特征，以该第二文本的真实类别为训练样本标记，使用有监督机器学习方式进行训练，以得到分类模型；以及利用分类模型对第一文本的类别进行预测。由此，本发明可以实现在第一文本集中的第一文本缺少标注数据的情况下，对第一文本进行有效分类。

技术领域

本发明总体来说涉及机器学习技术领域，更具体地讲，涉及一种文本分类方法、装置、设备以及存储介质。

背景技术

针对文本分类问题，目前主要是采取有监督机器学习的方式训练分类模型。即根据场景构建数据集，标注数据集，然后再根据带标注数据，训练分类模型。训练过程中往往存在以下问题。

一方面，训练过程需要以对数据集中的数据进行标注为前提，而数据集的数量一般较大，使得标注成本极高，从而造成实践中难以构建大规模的训练数据。

另一方面，数据集中的文本往往千奇百怪，在进行分词时，由于词库受限，往往容易得到错误的分词结果，例如“千百度”可能会被切分为“千/百度”，这样会在构建模型时引入干扰特征，严重影响模型效果。

因此，需要一种新的文本分类方案，以解决上述至少一种问题。

发明内容

本发明的示例性实施例在于提供一种文本分类方法、装置、设备以及存储介质，以解决上述至少一种问题。

根据本发明的第一个方面，提出了一种文本分类方法，包括：通过无监督机器学习方式学习第一文本集中的第一文本的各个单字和/或连续多字的分布表征；针对第二文本集中至少部分第二文本中的每个第二文本，基于学习到的第一文本集中对应单字和/或连续多字的分布表征，得到该第二文本中各个单字和/或连续多字的分布表征；至少以第二文本中各个单字和/或连续多字的分布表征为训练样本特征，以该第二文本的真实类别为训练样本标记，使用有监督机器学习方式进行训练，以得到分类模型；以及利用分类模型对第一文本的类别进行预测。

可选地，第一文本与第二文本的内容相同或相似；并且/或者第一文本集中第一文本的数量大于第二文本集中第二文本的数量；并且/或者第一文本集中第一文本的数据分布不同于第二文本集中第二文本的数据分布。

可选地，分布表征为词向量。

可选地，连续多字包括不同字数的连续多字，并且，每个连续多字的分布表征等于连续多字中各个单字的分布表征之和。

可选地，利用分类模型对第一文本的类别进行预测的步骤包括：至少以第一文本中每个单字和/或连续多字的分布表征为预测样本特征，利用分类模型对第一文本的类别进行预测。

可选地，文本分类方法还包括：对第二文本进行分词处理，并获取每个分词的one-hot特征，其中，至少以第二文本中每个单字和/或连续多字的分布表征为训练样本特征的步骤包括：以第二文本中每个单字和/或连续多字的分布表征和第二文本中每个分词的one-hot特征为训练样本特征。

可选地，利用分类模型对第一文本的类别进行预测的步骤包括：对第一文本进行分词处理，并获取每个分词的one-hot特征；以第一文本中每个单字和/或连续多字的分布表征和第一文本中每个分词的one-hot特征为预测样本特征，利用分类模型对第一文本的类别进行预测。

可选地，文本分类方法，还包括：根据第一文本的分类需求，对分类模型的分类结果进行映射。

可选地，第一文本和第二文本均为商户名称，该方法用于对第一文本集中的商户名称进行关于经营类别的分类。