[发明专利]一种多层次分类模型训练方法、多层次分类方法和装置

权利要求书

1.一种多层次分类模型训练方法，包括：

分别将每一个第一文本转换成对应的特征矩阵，分别将每一个第一文本对应的一级标签和第二标签转换成对应的特征向量；

分别将每一个第一文本对应的特征矩阵输入到神经网络模型中得到每一个第一文本对应的第X层特征编码，分别将每一个第一文本对应的一级标签对应的特征向量输入到神经网络模型中得到每一个第一文本对应的一级标签对应的第X层特征编码，分别将每一个第一文本对应的二级标签对应的特征向量输入到神经网络模型中得到每一个第一文本对应的二级标签对应的第X层特征编码；其中，X为神经网络模型的层数；

根据所有第一文本对应的第X层特征编码、第一文本对应的一级标签对应的第X层特征编码、第一文本对应的二级标签对应的第X层特征编码计算损失函数值；

根据损失函数值更新神经网络模型中的参数值，当神经网络模型中的参数值的变化量大于或等于预设阈值时，继续执行分别将每一个第一文本对应的特征矩阵输入到更新参数值后的神经网络模型中得到每一个第一文本对应的第X层特征编码，分别将每一个第一文本对应的一级标签对应的特征向量输入到更新参数值后的神经网络模型中得到每一个第一文本对应的一级标签对应的第X层特征编码，分别将每一个第一文本对应的二级标签对应的特征向量输入到更新参数值后的神经网络模型中得到每一个第一文本对应的二级标签对应的第X层特征编码的步骤；

所述神经网络模型中按照公式aⁱ＝Wⁱ×a^i-1+bⁱ计算所述第一文本对应的第i层特征编码，或所述第一文本对应的一级标签对应的第i层特征编码，或所述第一文本对应的二级标签对应的第i层特征编码；其中，i为一到X之间的任意一个整数；

其中，aⁱ为所述第一文本对应的第i层特征编码，或所述第一文本对应的一级标签对应的第i层特征编码，或所述第一文本对应的二级标签对应的第i层特征编码；

Wⁱ为第i层的权重；

当i大于1时，a^i-1为所述第一文本对应的第(i－1)层特征编码，或所述第一文本对应的一级标签对应的第(i－1)层特征编码，或所述第一文本对应的二级标签对应的第(i－1)层特征编码；当i＝1时，a^i-1为所述第一文本对应的特征矩阵，或所述第一文本对应的一级标签对应的特征向量，或所述第一文本对应的二级标签对应的特征向量；

bⁱ为第i层的偏；

更新的神经网络模型中的参数包括上述Wⁱ和bⁱ；

其中，按照公式更新神经网络模型中的Wⁱ，按照公式更新神经网络模型中的bⁱ；

其中，W'ⁱ为更新后的第i层的权重，Wⁱ为更新前的第i层的权重，α为梯度下降中的学习速率，L'为损失函数值，b'ⁱ为更新后的第i层的偏，bⁱ为第i层的偏。

2.根据权利要求1所述的多层次分类模型训练方法，其特征在于，当所述神经网络模型中的参数值的变化量小于预设阈值时，该方法还包括：

将所述神经网络模型中更新后的参数值作为所述神经网络模型中的最佳参数值。

3.根据权利要求1或2所述的多层次分类模型训练方法，其特征在于，其中，按照公式计算损失函数值；

其中，L'为所述损失函数值，L1_j为第j个第一文本对应的第X层特征编码和第j个第一文本对应的一级标签对应的第X层特征编码之间的相似度，L2_j为第j个第一文本对应的经过Dropout和Dense网络层后的第X层特征编码和第j个第一文本对应的一级标签对应的经过Dropout和Dense网络层后的第X层特征编码之间的相似度，L3_j为第j个第一文本对应的二级标签对应的第X层特征编码和第j个第一文本对应的一级标签对应的经过Dropout和Dense网络层后的第X层特征编码之间的相似度，L4_j为第j个第一文本对应的二级标签对应的第X层特征编码和第j个第一文本对应的经过Dropout和Dense网络层后的第X层特征编码之间的相似度。