[发明专利]一种多层次分类模型训练方法、多层次分类方法和装置

说明书

本发明实施例公开了一种多层次分类模型训练方法、多层次分类方法和装置，将一级标签和二级标签转换成特征向量，利用了标签的语义性，从而提高了模型训练和分类的准确性。

技术领域

本发明实施例涉及但不限于数据处理技术，尤指一种多层次分类模型训练方法、多层次分类方法和装置。

背景技术

文本的类别划分存在这种情况，将文本划分为若干个小类，某些小类可以合并成一个大类，此时，存在一个大类别和一个小类别这两个级别的标签，也就是对文本的多层次的分类。标签级别的层次能够形成树形的结构，基本多任务分类能够按照树形的层次依次得到每个层次的分类标签，而多任务学习的文本分类方法能够一次性得到这两个级别的分类标签，是基本多任务分类的改进。

目前的多层次分类模型训练方法大致包括：将文本中的句子进行分词得到词语，分别将每一个词语通过Word2Vector转换成对应的特征向量，将所有词语对应的特征向量拼接成特征矩阵；将文本对应的特征矩阵输入到神经网络模型中，得到文本的第X层特征编码，X为神经网络模型的层数，分别将两个级别的分类标签转换成对应的独热编码；根据文本的第X层特征编码和两级标签对应的独热编码计算损失函数值，根据损失函数值更新神经网络模型中的参数值，当神经网络模型中的参数值的变化值大于或等于预设阈值时，继续执行将文本对应的特征矩阵输入到更新参数值后的神经网络模型中的步骤；当神经网络模型中的参数值的变化值小于预设阈值时，确定神经网络模型中的更新后的参数值为最佳参数值。

目前的多层次分类模型训练方法中，由于分类标签采用的是独热编码来表示，独热编码只是一个标记，无法表示分类标签的具体含义，从而导致训练效果不佳。

发明内容

本发明实施例提供了一种多层次分类模型训练方法、多层次分类方法和装置，能够提高模型训练的准确性。

本发明实施例提供了一种多层次分类模型训练方法，包括：

分别将每一个第一文本转换成对应的特征矩阵，分别将每一个第一文本对应的一级标签和第二标签转换成对应的特征向量；

分别将每一个第一文本对应的特征矩阵输入到神经网络模型中得到每一个第一文本对应的第X层特征编码，分别将每一个第一文本对应的一级标签对应的特征向量输入到神经网络模型中得到每一个第一文本对应的一级标签对应的第X层特征编码，分别将每一个第一文本对应的二级标签对应的特征向量输入到神经网络模型中得到每一个第一文本对应的二级标签对应的第X层特征编码；其中，X为神经网络模型的层数；

根据所有第一文本对应的第X层特征编码、第一文本对应的一级标签对应的第X层特征编码、第一文本对应的二级标签对应的第X层特征编码计算损失函数值；

根据损失函数值更新神经网络模型中的参数值，当神经网络模型中的参数值的变化量大于或等于预设阈值时，继续执行分别将每一个第一文本对应的特征矩阵输入到更新参数值后的神经网络模型中得到每一个第一文本对应的第X层特征编码，分别将每一个第一文本对应的一级标签对应的特征向量输入到更新参数值后的神经网络模型中得到每一个第一文本对应的一级标签对应的第X层特征编码，分别将每一个第一文本对应的二级标签对应的特征向量输入到更新参数值后的神经网络模型中得到每一个第一文本对应的二级标签对应的第X层特征编码的步骤。

在本发明实施例中，当所述神经网络模型中的参数值的变化量小于预设阈值时，该方法还包括：

将所述神经网络模型中更新后的参数值作为所述神经网络模型中的最佳参数值。

在本发明实施例中，所述神经网络模型中按照公式aⁱ＝Wⁱ×a^i-1+bⁱ计算所述第一文本对应的第i层特征编码，或所述第一文本对应的一级标签对应的第i层特征编码，或所述第一文本对应的二级标签对应的第i层特征编码；其中，i为一到X之间的任意一个整数；