[发明专利]分类可靠性预测方法和装置

权利要求书

1.一种由处理器执行的计算机实现的方法，所述方法包括：

获得由分类器工具对数据集的标记进行的预测，其中所述分类器工具旨在根据分类模型并考虑定义所述数据集的一组特性来预测所述标记；

根据可靠性分类器工具获得与所述分类器工具的所述预测相关的可靠性标记的可靠性预测，其中所述可靠性分类器工具旨在根据分类模型并考虑第二组特性来预测所述可靠性标记；以及

向用户输出所述标记预测和关联的可靠性预测。

2.根据权利要求1的方法，还包括：

获得训练数据集，所述训练数据集包括数据点的样本，其中针对每个数据点提供标记；以及

响应于训练会话，使用所述训练数据集以及由所述分类器工具针对所述训练数据集的数据点进行的预测来训练所述可靠性分类器工具，其中所述训练会话包括针对所述训练数据集的一部分来训练所述分类器工具。

3.根据权利要求2的方法，其中所述训练包括：

针对所述分类器工具重复执行训练会话并由所述分类器工具针对数据点或其一部分的样本来确定预测的标记，其中所述分类器工具在从一个训练会话转到另一个训练会话时不保留所训练的信息；以及

根据针对同一数据点的多个预测的标记，训练所述可靠性分类器以便预测所述分类器工具的预测的可靠性。

4.根据权利要求3的方法，其中根据所述多个预测的标记训练所述可靠性分类器包括：

根据所述预测的标记针对同一数据点的变化来确定稳定性度量；以及

当训练所述可靠性分类器工具时，使用所述稳定性度量作为所述数据点的测量的可靠性。

5.根据权利要求3的方法，其中根据所述多个预测的标记训练所述可靠性分类器包括：

根据所述数据点的所述预测的标记基本上等于由所述训练数据集提供的标记的次数来确定所述预测的标记的正确分数；以及

当训练所述可靠性分类器工具时，使用所述正确分数度量作为所述数据点的测量的可靠性。

6.根据权利要求2的方法，其中所述训练包括：

根据所述训练数据集和关联的标记来训练所述分类器工具；

由所述分类器工具针对所述数据集的至少一部分获得预测；以及

根据所述训练数据集以及针对同一数据点的所述预测的标记与关联的标记之间的相关性来训练所述可靠性分类器工具。

7.根据权利要求6的方法，其中针对所述训练数据集的一部分执行训练所述分类器，并且针对所述训练数据集的不同部分执行获得预测。

8.根据权利要求6的方法，

其中获得预测包括，对于所述数据集的所述部分中的每个数据点：

从所述训练数据集获得数据点；以及

将所述数据点的所述一组特性引入所述分类器工具并获得预测的标记；以及

其中训练所述可靠性分类器工具包括：

判定所述预测的标记是否不同于所述训练数据集中的关联的标记，由此提供有关所述分类器工具的预测的可靠性的指示；以及

将针对所述数据点的所述第二组特性连同所述指示一起引入所述可靠性分类器。

9.根据权利要求1的方法，其中所述预测由于所述分类器工具的所述分类模型而相对不可靠；以及其中所述可靠性分类器工具由于基于不同于所述分类器工具的分类模型而能够预测相对不可靠性。

10.根据权利要求1的方法，其中所述第二组特性包括未由所述一组特性包括的至少一个特性。

11.根据权利要求1的方法，还包括获得所述预测的标记正确的概率；以及其中所述输出除了所述可靠性预测之外还输出所述概率。

12.一种具有处理器的计算机化装置，所述处理器适于执行以下步骤：

获得由分类器工具对数据集的标记进行的预测，其中所述分类器工具旨在根据分类模型并考虑定义所述数据集的一组特性来预测所述标记；

根据可靠性分类器工具获得与所述分类器工具的所述预测相关的可靠性标记的可靠性预测，其中所述可靠性分类器工具旨在根据分类模型并考虑第二组特性来预测所述可靠性标记；以及

向用户输出所述标记预测和关联的可靠性预测。