[发明专利]用于可解释人工智能的神经网络特征的影响的映射和量化

权利要求书

1.一种设备，包括：

用于评估神经网络中较低层级特征对较高层级特征的贡献的装置，所述神经网络具有多个神经网络层，所述多个神经网络层包括输入层、至少一个较低层级、至少一个较高层级和输出层，所述评估包括以下一项或多项：

标识所述神经网络的较低层级特征与较高层级特征之间的链接，以及

量化所述神经网络的较低层级特征对较高层级特征的贡献；以及

用于基于所述贡献的所述评估来调整与所述神经网络的所述至少一个较高层级相关联的权重的装置。

2.如权利要求1所述的设备，其特征在于，所述神经网络的较低层级特征与较高层级特征之间的链接的标识包括：检查所述神经网络从所述输出层向所述输入层的各层，以标识所述神经网络的较低层级层中影响所述神经网络的较高层级层中的一个或多个特征的一个或多个特征，其中影响意味着所述较低层级层中的特征的值对所述较高层级层中的特征的值有影响。

3.如权利要求2所述的设备，进一步包括：

用于确定对所述神经网络的较高层级特征有影响的每个较低层级特征的相对影响的级别的装置。

4.如权利要求2所述的设备，进一步包括：

用于训练所述神经网络以包括标识对较高层级特征有影响的较低层级特征的能力的装置。

5.如权利要求1所述的设备，其特征在于，量化所述神经网络的较低层级特征对较高层级特征的贡献包括执行主成分分析(PCA)，以标识对较高层级特征有贡献的多个较低层级特征组合中的每一个组合的权重。

6.如权利要求5所述的设备，进一步包括：

用于训练所述神经网络以包括一个或多个节点以产生与由所述神经网络生成输出有关的值的装置；以及

用于训练所述神经网络以包括一个或多个节点以产生与使所述神经网络的输出改变为实质上不同的值有关的值的装置。

7.一种设备，包括：

用于确定来自与神经网络的多个层相关联的一个或多个特征对所述神经网络的一个或多个推断决策的支持的装置；

用于确定对所述一个或多个推断决策中的每一个推断决策的支持强度的装置；

用于至少部分地基于所述所确定的对所述一个或多个推断决策的支持强度来标识具有低稳定性的一个或多个推断决策的装置；以及

用于重新评估被标识为具有低稳定性的一个或多个推断决策的装置。

8.如权利要求7所述的设备，其特征在于，对所述一个或多个推断决策中的每一个推断决策的支持强度的确定至少部分地基于在其上支持每个推断决策的多个因子。

9.如权利要求8所述的设备，其特征在于，由第一数量的因子支持的第一推断决策被确定为比由第二数量的因子支持的第二推断决策更稳定，所述第二数量的因子少于所述第一数量的因子。

10.如权利要求7所述的设备，其特征在于，用于重新评估被标识为具有低稳定性的一个或多个推断决策的装置包括用于对所述一个或多个推断决策重新执行所述推断的装置。

11.如权利要求10所述的设备，进一步包括：

用于针对所述一个或多个推断决策重新执行所述推断的装置包括将扰动添加到输入数据并从统计分布中对神经元的权重进行采样的装置。

12.如权利要求10所述的设备，进一步包括：

用于利用所述神经网络的更加计算密集的模型来重新执行所述推断的装置。