[发明专利]基于多种损失融合文本分类模型结果的训练语料筛选方法

权利要求书

1.基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，包括：

将文本分类模型按照功能划分为模型层面和数据层面；

在所述模型层面，对所述文本分类模型进行多种损失函数融合，得到文本分类模型中训练样本数据的输出类别及类别概率值；

在所述数据层面，根据所述输出类别及所述类别概率值计算所述训练样本数据的方差；

筛选出待筛选回查数据，所述待筛选回查数据的方差低于方差阈值，所述方差阈值根据所述训练样本数据本身的输出类别预先设定。

2.根据权利要求1所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，所述多种损失函数融合基于全连接神经网络，所述多种损失函数融合是按照预设的融合方式对标签平滑损失函数、FocalLoss损失函数及对抗训练损失函数的融合。

3.根据权利要求2所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，对所述文本分类模型进行多种损失函数融合，得到输出类别及类别概率值，包括：

将训练样本数据输入所述文本分类模型中，得到过程类别及过程概率值；

根据所述过程类别及所述过程概率值计算各损失函数的过程损失值；

将所述过程损失值输入到所述全连接神经网络，得到最终损失值；

根据所述最终损失值训练所述文本分类模型，得到输出类别及类别概率值。

4.根据权利要求2所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，所述全连接神经网络为多层全连接。

5.根据权利要求1所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，还包括：

所述待筛选回查数据确定后，对所述待筛选回查数据进行回查处理，根据处理结果对所述文本分类模型进行再次训练。

6.根据权利要求1所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，通过如下公式计算所述训练样本数据的方差：

其中，x为所述训练样本数据的样本值，μ为全体样本值的平均数，n为样本数量。

7.根据权利要求1所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，所述类别概率值是经过归一化处理之后得到的。

8.根据权利要求1所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，还包括：

生成每个所述输出类别对应的问题样本，所述问题样本包含所述输出类别中所有的待筛选回查数据；

根据所述问题样本生成所述待筛选回查数据的标签对，将所有相同标签对的所述待筛选回查数据归为同一个标签对类，所述标签对类中包括两个所述输出类别；

计算所述标签对类中两个所述输出类别的混淆度；

如果所述混淆度低于混淆度阈值，所述标签对中存在输出类别的交叉。

9.根据权利要求8所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，根据所述问题样本生成所述待筛选回查数据的标签对，包括：

将所述待筛选回查数据按照预设的排序方式进行分类排序；

将前两个输出类别的所述待筛选回查数据组成标签对。

10.根据权利要求8所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，通过如下公式计算两个输出类别的混淆度：

其中，C₁，C₂分别是所述标签对中两个输出类别的样本数之和，K为C₁，C₂中所有问题样本的个数，σ为所述训练样本数据的方差。

11.根据权利要求8所述的基于多种损失融合文本分类模型结果的训练语料筛选方法，其特征在于，还包括，如果所述标签对存在输出类别的交叉，重新定义所述输出类别。