[发明专利]一种AI模型可靠性判断方法、装置、设备及存储介质

说明书

本发明公开了一种AI模型可靠性判断方法、装置、设备及存储介质，该方法包括：获取全部病例集合，依次确定训练AI模型所用各病例为当前病例，通过多次随机改变当前病例中的特征数据得到多个采样样本，利用AI模型获取每个采样样本的诊断结果；利用每个采样样本及相应诊断结果对机器学习模型进行训练，在训练完成后基于机器学习模型的可解释性，确定表示AI模型获取当前病例的诊断结果的依据为依据信息；如果全部病例集合中依据信息合理的病例数量达到数量阈值，则确定AI模型可靠。可见，本申请能实现对AI模型的准确评价，进而有效降低使用AI模型进行医学辅助诊断的风险。

技术领域

本发明涉及人工智能技术领域，更具体地说，涉及一种AI模型可靠性判断方法、装置、设备及存储介质。

背景技术

随着近年来AI(人工智能)技术的不断发展和崛起，大量的领域开始使用AI技术，如车牌识别、人脸识别、医学辅助诊断等。与传统技术相比，AI模型以高准确性和易操作性而被广泛使用；给定一个输入，AI模型通常可以快速准确的给出结果，并且有相当一部分任务中已经超越了人类的识别水平。

然而，大量的优秀的AI模型的决策原理是人类不可理解的黑盒，这给AI技术的使用带来了潜在的风险。具体来说，当使用AI模型进行医学辅助诊断时，考虑到AI模型的决策原理是一个黑盒，AI模型的好坏通常是无法实现有效准确的评价的，进而导致使用AI模型来进行医学辅助诊断有非常大的风险。

发明内容

本发明的目的是提供一种AI模型可靠性判断方法、装置、设备及存储介质，能够实现对AI模型的准确评价，进而有效降低使用AI模型来进行医学辅助诊断的风险。

为了实现上述目的，本发明提供如下技术方案：

一种AI模型可靠性判断方法，包括：

获取全部病例集合，依次确定用于训练AI模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用所述AI模型获取每个所述采样样本的诊断结果；

利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于所述机器学习模型的可解释性，确定表示所述AI模型获取当前病例的诊断结果的依据为依据信息；

如果全部病例集合中所述依据信息合理的病例数量达到数量阈值，则确定所述AI模型可靠。

优选的，确定所述AI模型可靠之后，还包括：

基于全部病例集合中每个病例分别对应的依据信息，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识，以供学习及使用。

优选的，还包括：

每经过预设时间段则执行依次确定用于训练AI模型的每个病例为当前病例的步骤。

优选的，依次确定用于训练AI模型的每个病例为当前病例之后，还包括：

将当前病例中包含的全部特征数据均处理为相应的数值。

优选的，利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，包括：

利用每个所述采样样本及相应的诊断结果对线性回归算法或者决策树算法进行训练。

优选的，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识之后，还包括：

将所述医学知识推送至与每个相应医护人员对应的医疗处理端，以供各医护人员远程获取所述医学知识。

优选的，确定当前病例的依据信息是否合理，包括：

将当前病例的依据信息以及表示依据信息是否合理的选项进行输出；