[发明专利]基于风险权重评估医学机器学习模型性能的方法和设备

权利要求书

1.一种评估医学机器学习模型性能的方法，其特征在于，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：

利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；

获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；

比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；

根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；

根据所有疾病种类的第一风险值确定所述模型的性能值。

2.根据权利要求1所述的方法，其特征在于，根据所有疾病种类的第一风险值确定所述模型的性能值，包括：

根据所述风险权重和所述评估数据集中的类型占比得到所有疾病种类的第二风险值；

根据所有疾病种类的第一风险值和所有疾病种类的第二风险值确定所述模型的性能值。

3.根据权利要求1或2所述的方法，其特征在于，对于能够识别多种疾病的模型，每一种疾病类型对应一个所述疾病阈值、每一种疾病类型对应一组所述风险权重。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述风险权重包括对应假阳性的风险权重和对应假阴性的风险权重。

5.根据权利要求4所述的方法，其特征在于，利用如下方式计算所述第一风险值：

其中r_l为第l种疾病的第一风险值，FN_l为第l种疾病的假阴性识别结果的数量或比例，为对应第l种疾病的假阴性的风险权重，FP_l为第l种疾病的假阳性识别结果的数量或比例，为对应第l种疾病的假阳性的风险权重。

6.根据权利要求1或2所述的方法，其特征在于，对于第l种疾病，采用的疾病阈值使其第一风险值为最优值。

7.根据权利要求1或2所述的方法，其特征在于，根据所有疾病种类的第一风险值和所有疾病种类的第二风险值确定所述模型的性能值，包括：

计算所有疾病种类的第一风险值的和R^model与所有疾病种类的第二风险值的和R^baseline的比值其中r_l为第l种疾病的第一风险值，为第l种疾病的第二风险值，L为疾病种类的数量；

根据确定所述模型的性能值。

8.根据权利要求7所述的方法，其特征在于，所述性能值在0-1之间，与性能呈正相关关系。

9.根据权利要求8所述的方法，其特征在于，利用如下方式计算所述模型的性能值：

10.一种评估医学机器学习模型性能的设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-9中任意一项所述的评估医学机器学习模型性能的方法。