[发明专利]黑盒模型的解释方法、装置及设备

权利要求书

1.一种黑盒模型的解释方法，其特征在于，包括：

获取待解释的测试点的特征和预测结果，以及参考点的特征和实际观测结果，其中所述测试点的预测结果是将所述测试点的特征输入黑盒模型后得到的输出结果；

根据所述测试点和所述参考点，采样确定多个特征子集；

将已构建的完全随机森林模型作为估值函数，将包含在特征子集内的特征取测试点的特征值、以及未包含在特征子集内的特征取参考点的特征值组成的新样本的特征值输入完全随机森林 模型，得到所述特征子集的估值函数值，根据所述特征子集的估值函数值和包含的特征数量、以及特征总数，确定每项特征的夏普利值，所述完全随机森林模型是基于包含所述测试点的特征和预测结果、所述参考点的特征和实际观测结果的训练数据集构建的，所述完全随机森林模型中每个叶子节点对应一个样本点；

将每项特征的夏普利值作为每项特征对所述预测结果与所述实际观测结果间的差值的贡献度，输出每项特征对所述差值的贡献度。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取训练数据集，所述训练数据集包括历史样本点的特征和实际观测结果，以及测试样本点的特征和预测结果，所述历史样本点包含所述参考点，所述测试样本点包含所述测试点；

根据所述训练数据集构建多棵完全随机树，所述完全随机树中每个叶子节点对应一个样本点，所述多棵完全随机树形成完全随机森林模型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述特征子集的估值函数值和包含的特征数量、以及特征总数，确定每项特征的夏普利值，包括：

针对任一特征，对于不包含当前特征的目标特征子集，确定所述目标特征子集与当前特征的并集，并计算所述并集的估值函数值；

根据每一目标特征子集的估值函数值、每一目标特征子集与当前特征的并集的估值函数值、目标特征子集包含的特征数量、特征总数，计算确定当前特征的夏普利值。

4.根据权利要求3所述的方法，其特征在于，所述计算所述并集的估值函数值，包括：

将包含在所述并集内的特征取测试点的特征值、未包含在所述并集内的特征取参考点的特征值得到的新样本的特征值输入所述完全随机森林模型，将所述完全随机森林模型的输出结果作为所述并集的估值函数值。

5.根据权利要求1所述的方法，其特征在于，所述采样确定多个特征子集，包括：

基于所述完全随机森林模型，将所述测试点落入的叶子节点和所述参考点落入的叶子节点作为目标叶子节点；

对于任一所述目标叶子节点，采样落入由根节点到所述目标叶子节点的路径上任一节点的特征；

根据采样到的特征，生成多个特征子集，其中每一特征子集包含至少一个采样到的特征。

6.根据权利要求1所述的方法，其特征在于，所述采样确定多个特征子集，包括：

根据所述测试点的特征和所述参考点的特征，确定所有的特征子集以及每一特征子集的概率；

根据特征子集的概率采样得到多个特征子集。

7.根据权利要求2所述的方法，其特征在于，所述获取训练数据集，包括：

响应于对黑盒模型的解释指令，获取历史样本点的特征和实际观测结果；

获取测试样本点的特征，并使用所述黑盒模型根据所述测试样本点的特征确定所述测试样本点的预测结果。

8.根据权利要求1所述的方法，其特征在于，所述获取待解释的测试点的特征和预测结果，以及参考点的特征和实际观测结果，包括：

响应于用户指定的测试点和参考点，获取所述参考点的特征和实际观测结果，以及所述测试点的特征，并利用所述黑盒模型根据所述测试点的特征确定所述测试点的预测结果；

所述输出每项特征对所述差值的贡献度，包括：

通过可视化界面向所述用户展示每项特征对所述预测结果与所述实际观测结果间的差值的贡献度。