[发明专利]一种评估分类模型的方法和装置

权利要求书

1.一种评估分类模型的方法，其特征在于，包括：

获取多个分类模型对输入数据集分类得到的多个第一类别数据集，每个第一类别数据集对应一分类模型；

根据预选的参考数据集确定各第一类别数据集中的假正例数据集；

根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型。

2.根据权利要求1所述的方法，其特征在于，所述参考数据集包括预设数量的第二类别数据集，

根据预选的参考数据集确定各第一类别数据集中的假正例数据集的步骤，包括：

根据所述预设数量的第二类别数据集与所述各第一类别数据集的交集确定所述各第一类别数据集中的假正例数据集。

3.根据权利要求2所述的方法，其特征在于，根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型的步骤，包括：

根据每个第一类别数据集和所述第一类别数据集中的假正例数据集计算所述第一类别数据集对应的分类模型的误分类率；

根据各分类模型的误分类率评估所述各分类模型。

4.根据权利要求3所述的方法，其特征在于，每个第一类别数据集对应的分类模型的各个误分类率分别对应一第二类别数据集，

根据各分类模型的误分类率评估所述各分类模型的步骤，包括：

每次从所述多个分类模型中选取两个分类模型，比对所述两个分类模型的对应相同第二类别数据集的各误分类率；

统计所述两个分类模型的各次比较的结果中，每个分类模型的各误分类率作为较大值出现的次数和作为较小值出现的次数，将所述两个分类模型中，各误分类率作为较大值出现的次数小于作为较小值出现的次数的一个分类模型评估为高精度模型，直到评估出所述多个分类模型中任意两个分类模型中的高精度模型，从而完成对所有分类模型的评估。

5.根据权利要求2所述的方法，其特征在于，所述参考数据集至少满足如下条件：

在所述参考数据集与所述输入数据集之间的公共数据集中，所述第二类别数据集的数据数量在所述公共数据集中的占比大于预设阈值；

所述公共数据集中的数据分布特征与所述输入数据集中的数据分布特征相同。

6.一种评估分类模型的装置，其特征在于，包括：

获取模块，用于获取多个分类模型对输入数据集分类得到的多个第一类别数据集，每个第一类别数据集对应一分类模型；

确定模块，用于根据预选的参考数据集确定各第一类别数据集中的假正例数据集；

评估模块，用于根据各第一类别数据集和所述各第一类别数据集中的假正例数据集评估所述多个分类模型。

7.根据权利要求6所述的装置，其特征在于，所述参考数据集包括预设数量的第二类别数据集，

所述确定模块还用于：

根据所述预设数量的第二类别数据集与所述各第一类别数据集的交集确定所述各第一类别数据集中的假正例数据集。

8.根据权利要求7所述的装置，其特征在于，所述评估模块还用于：

根据每个第一类别数据集和所述第一类别数据集中的假正例数据集计算所述第一类别数据集对应的分类模型的误分类率；

根据各分类模型的误分类率评估所述各分类模型。

9.根据权利要求8所述的装置，其特征在于，每个第一类别数据集对应的分类模型的各个误分类率分别对应一第二类别数据集，

所述评估模块包括模型评估单元，用于：

每次从所述多个分类模型中选取两个分类模型，比对所述两个分类模型的对应相同第二类别数据集的各误分类率；

统计所述两个分类模型的各次比较的结果中，每个分类模型的各误分类率作为较大值出现的次数和作为较小值出现的次数，将所述两个分类模型中，各误分类率作为较大值出现的次数小于作为较小值出现的次数的一个分类模型评估为高精度模型，直到评估出所述多个分类模型中任意两个分类模型中的高精度模型，从而完成对所有分类模型的评估。