[发明专利]一种模型预测的关键区域的分析方法及装置

说明书

本申请适用于数据处理技术领域，提供了一种模型预测的关键区域的分析方法，包括：获取预测模型；获取样本数据，并基于预测模型对样本数据进行遮盖实验，获得对样本数据进行遮盖实验前后关于预测模型的输出数据；根据遮盖实验前后的输出数据计算遮盖区域的重要程度指标值；根据重要程度指标值绘制图，获得模型预测的关键区域。本申请基于预测模型对样本数据进行遮盖实验，获得预测模型的输出数据，根据输出数据计算获得预测模型的关键区域的衡量指标，并绘制成图，能够直观的表示出模型预测的关键区域，展示哪些区域是与模型预测相关的关键区域，揭示预测模型发挥作用的机制，提升了深度学习模型的可解释性，有效的扩展了深度学习技术的应用面。

技术领域

本申请属于数据处理技术领域，尤其涉及一种模型预测的关键区域的分析方法及装置。

背景技术

深度学习方法是一种表示学习方法，其可以根据训练数据，数据驱动模型自动学习表征，因此在计算机视觉、自然语言处理等领域取得了明显优于传统学习方法的效果。

由于深度学习模型的特性难以通过语言解释的。使用者很难确定模型是如何发挥作用的，模型究竟学习到了什么样的特征，是否仅仅因为数据泄露等问题而取得虚假的“良好”性能。因此，深度学习在很多应用领域上受到限制，如医疗、交通、金融领域。

发明内容

本申请实施例提供了一种模型预测的关键区域的分析方法及装置，可以解决现有技术中深度学习模型由于无法解释而造成应用领域受到限制的问题。

第一方面，本申请实施例提供了一种模型预测的关键区域的分析方法，包括：

获取预测模型；

获取样本数据，并基于预测模型对样本数据进行遮盖实验，分别获得对样本数据进行遮盖实验前预测模型的输出数据和对样本数据进行遮盖实验后预测模型的输出数据；

根据对样本数据进行遮盖实验前预测模型的输出数据和对样本数据进行遮盖实验后预测模型的输出数据，计算遮盖区域的重要程度指标值；

根据所述重要程度指标值绘制图，获得模型预测的关键区域。

第二方面，本申请实施例提供了一种模型预测的关键区域的分析装置，包括：

获取模块，用于获取预测模型；

实验模块，用于随机采样，获取样本数据，并基于预测模型对样本数据进行遮盖实验，分别获得对样本数据进行遮盖实验前预测模型的输出数据和对样本数据进行遮盖实验后预测模型的输出数据；

计算模块，用于根据对样本数据进行遮盖实验前预测模型的输出数据和对样本数据进行遮盖实验后预测模型的输出数据，计算遮盖区域的重要程度指标值；

输出模块，用于根据所述重要程度指标值绘制图，获得模型预测的关键区域。

第三方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的模型预测的关键区域的分析方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的模型预测的关键区域的分析方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的模型预测的关键区域的分析方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。