[发明专利]基于风险权重评估医学机器学习模型性能的方法和设备

说明书

本发明提供一种基于风险权重评估医学机器学习模型性能的方法和设备，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；根据所有疾病种类的第一风险值确定所述模型的性能值。

技术领域

本发明涉及机器学习领域，具体涉及一种基于风险权重评估医学机器学习模型性能的方法和设备。

背景技术

随着机器学习、深度学习、计算机视觉和图像识别等人工智能核心技术的突破和发展，通过大量医学标注样本对模型进行训练所获得的诊断模型，在医学场景展示了出色的性能、可信的效果和真实的应用价值。而且，由于深度神经网络(DNN)具备巨大的参数空间，模型描述能力极强，所以一个模型可以胜任多个识别任务。推延至医学场景，也就是一个模型可以完成多个病种的识别，比如肺部、视网膜、皮肤的多种疾病。多病种诊断模型是医学AI算法的主要形态。

比如中国专利申请(申请号2018103874848)公开一种基于机器学习的眼底图像检测方法，该方法可以通过眼底图像识别豹纹、白斑等明显病种，同时能够识别细小的渗出点和出血点。由于医学涉及人们的生命健康安全，模型识别错误的风险极高。风险控制对医学AI产品的成功极为重要。所以，对诊断模型进行评估，确定其风险程度，进而判断是否可投入应用，是非常有必要的工作。而且，大部分模型并非开箱即用，需要结合其应用子场景，对模型的参数(如预测的概率阈值)进行调优，以最恰当地符合场景需求。

现有的机器学习模型评估和调优方法，比如ROC-AUC分数、F1分数等，尽管具备足够的科学性和操作性，但并不足以评估医学领域的机器学习模型。具体地，医学模型输出的错误结果可能存在假阳性(误诊)和假阴性(漏诊)这两种情况，现有的评估方案并不区别对待这两种错误，也即默认赋予相同的风险权重。而从实用性的角度来说，比如在疾病筛查场景中，漏诊的后果比误诊的后果更加严重，所以对假阳性的容忍会大于假阴性。比如两个模型对同一个医学数据集进行识别后，输出的错误结果数量相同但错误类型不同，如果使用现有的评估方案，仍会将两个模型的性能视为一致。

发明内容

有鉴于此，本发明提供一种评估医学机器学习模型性能的方法，所述模型用于根据医学数据识别至少一种疾病，所述模型输出用于表示各种疾病类型的概率值；所述方法包括：

利用所述模型识别评估数据集，所述评估数据集包括多个医学数据及其标签；

获取所述模型针对所述评估数据集中的各个医学数据输出的概率值，并根据疾病阈值确定识别结果；

比对所述识别结果和所述标签以确定错误的识别结果，包括各种疾病的假阳性和/或假阴性识别结果；

根据错误的识别结果的数量及其对应的风险权重计算关于各种疾病的第一风险值；

根据所有疾病种类的第一风险值确定所述模型的性能值。

可选地，根据所有疾病种类的第一风险值确定所述模型的性能值，包括：

根据所述风险权重和所述评估数据集中的类型占比得到所有疾病种类的第二风险值；

根据所有疾病种类的第一风险值和所有疾病种类的第二风险值确定所述模型的性能值。

可选地，对于能够识别多种疾病的模型，每一种疾病类型对应一个所述疾病阈值、每一种疾病类型对应一组所述风险权重。

可选地，所述风险权重包括对应假阳性的风险权重和对应假阴性的风险权重。

可选地，利用如下方式计算所述第一风险值：