[发明专利]文本分类方法、智能终端及计算机可读存储介质

说明书

本发明公开了一种文本分类方法、智能终端及存储介质，应用于深度学习，所述方法包括：获取预设训练语料中每个文本对应的文本类别以及预设训练语料中所有文本唯一对应的词汇表；通过预测模型和每个文本对应的文本类别对所述词汇表中的每个词对应的词向量进行训练，得到训练好的每个词在用于体现类别时的类别向量和在用于表示环境信息时的环境向量；根据训练好的类别向量和环境向量构建分类器，并通过分类器获取待分类文本中的词在不同文本类别的分类概率，以通过分类概率进行分类。由于通过用于体现类别的类别向量构建的分类器查找到了词在不同类别时的分类概率，因此考虑了词语在不同类别时的含义，提高了文本分类的准确度，提升了模型分类性能。

技术领域

本发明涉及人工智能领域，尤其涉及文本分类方法、智能终端及计算机可读存储介质。

背景技术

随着工业化进程的不断发展，人工智能特别是深度学习也在飞速发展。其中深度学习在图像文字识别以及分类领域，例如网页内容分析和电商评论挖掘上有广泛应用。目前基于深度学习的文本分类方法由于其对于词这一构成文本最小的有意义的单元做了嵌入式向量表示，使分类模型的分类性能得到了很大提升。但这些方法存在如下问题：同一个词汇在不同用法和含义上会产生很大变化，甚至意思完全不同，进而导致文本分类不准确，模型分类性能明显下降。

发明内容

本发明的主要目的在于提供一种文本分类方法、智能终端及计算机可读存储介质，旨在解决目前分类时词语含义多样所导致的分类性能下降的技术问题。

为实现上述目的，本发明提供一种文本分类方法，包括以下步骤：

获取预设训练语料中每个文本对应的文本类别以及预设训练语料中所有文本唯一对应的词汇表；

通过预测模型和每个文本对应的文本类别对所述词汇表中的每个词对应的词向量进行训练，得到训练好的每个词在用于体现类别时的类别向量和在用于表示环境信息时的环境向量；

根据训练好的每个词的类别向量和环境向量构建分类器，并通过所述分类器获取待分类文本中的词在不同文本类别对应的分类概率，以通过所述待分类文本中的词在不同文本类别对应的分类概率进行分类。

可选地，所述通过预测模型和每个文本对应的文本类别对所述词汇表中的每个词对应的词向量进行训练，得到训练好的每个词在用于体现类别时的类别向量和在用于表示环境信息时的环境向量的步骤包括：

在每个文本中通过滑动窗口以选择窗口区域；

在每选择到窗口区域时，获取选择的窗口区域内包含的环境词对应的环境向量，并将获取的环境向量作为输入向量输入至所述预测模型中，以预测出与所述环境词相关的中心预测词在体现类别时的类别向量；

通过每个文本对应的文本类别、每个文本对应每个窗口区域的环境词对应的环境向量以及对应预测出的类别向量计算损失函数，并在所述损失函数优化后从优化好的损失函数中获取训练好的每个词在用于体现类别时的类别向量和用于表示环境信息时的环境向量。

可选地，所述根据训练好的每个词的类别向量和环境向量构建分类器，并通过所述分类器获取待分类文本中的词在不同文本类别对应的分类概率的步骤包括：

在构建分类器时，基于注意力机制，根据训练好的每个词的环境向量获取每个词在用于形成上下文时的注意力向量；

根据训练好的每个词的类别向量和获取的注意力向量评估每个词在所述预设训练语料中的平均分类区分度，并筛除平均分类区分度小于预设阈值的词，以根据筛除后的词构建分类器中的分类词汇表；

根据所述分类器中的分类词汇表查找出所述待分类文本中与当前文本分类有关的词，并通过分类器获取所述与当前文本分类有关的词在不同文本类别对应的分类概率。

可选地，所述基于注意力机制，根据训练好的每个词的环境向量获取每个词在用于形成上下文时的注意力向量的步骤包括：