[发明专利]用于可解释人工智能的神经网络特征的影响的映射和量化

说明书

实施例涉及用于可解释的人工智能的神经网络特征的映射和量化。一个或多个存储介质的实施例包括用于评估神经网络中的较低层级特征对较高层级特征的贡献的指令，该评估包括以下一项或多项：标识较低层级特征与较高层级特征之间的链接，以及量化较低层级特征对较高层级特征的贡献。一个或多个存储介质的实施例包括用于以下项的指令：确定来自一个或多个特征对神经网络的一个或多个推断决策的支持；确定对推断决策中的每一个推断决策的支持强度；至少部分地基于所确定的支持强度，来标识具有低稳定性的一个或多个推断决策；以及重新评估被标识为具有低稳定性的推断决策。

技术领域

本文描述的实施例总体上涉及计算系统领域，并且更具体地涉及用于可解释的人工智能的神经网络特征的映射和量化。

背景技术

作为应用的人工智能(AI)操作，深度神经网络(DNN)是包括多个神经网络层的人工神经网络。广义上讲，神经网络用于发现数据中的模式，并基于此类模式提供决策。

然而，神经网络模型是非常不透明的。这是其更广泛使用的显著障碍。这可能对需要解析和证明由此类模型产生的决策的能力的实施方式产生显著的影响，尤其是在决策具有道德、法律、医疗和人身安全后果的情况下。

神经网络模型的不透明性也是检测此类模型何时出错并且理解错误来源的显著障碍。这会极大地抑制采取纠正措施的能力。此外，不透明性阻碍了模型的泛化和可传递性，并且因此很难基于模型的输出来确定何时确信地进行。

附图说明

本文所描述的各实施例作为示例而非限制在所附附图的各图中示出，在附图中，同样的附图标记指代类似的要素。

图1是根据一些实施例的神经网络中的特征的映射和量化的图示；

图2A是根据一些实施例的神经网络中较低层级特征与较高层级特征之间的链接的标识的图示；

图2B是根据一些实施例的用于提供标识较低层级特征和较高层级特征之间的链接的能力的神经网络的训练的图示；

图3是根据一些实施例的神经网络中的关键较低层级特征到关键较高层级特征的量化的图示；

图4A是根据一些实施例的用于产生与生成推断分类有关的值的神经网络训练的图示；

图4B是根据一些实施例的用于产生与改变推断分类有关的值的次级神经网络训练的图示；

图5A是根据一些实施例的对神经网络的推断的支持的稳定性的评估的图示；

图5B是根据一些实施例的对神经网络的较弱决策的重新评估的图示；

图6是根据一些实施例的用于提供神经网络特征的映射和量化以用于可解释的人工智能的设备或系统的图示；

图7图示了根据一些实施例的用于处理系统中的可解释的人工智能的神经网络特征的映射和量化；

图8图示了根据一些实施例的计算设备；

图9是机器学习软件栈的广义图；以及

图10A-图10B图示了示例性卷积神经网络。

具体实施方式

本文描述的实施例涉及用于可解释的人工智能的神经网络特征的映射和量化。

神经网络的可解释性可以包括多个方面，包括模型对其决策有信心的程度；当置信时，标识从输入到处理的各个中间阶段再到输出的置信度踪迹。这种类型的分析有众多益处，包括神经网络的决策，即使此类决策总体上不是透明的，但通过此类分析，在某些方面可能变得透明，尤其是如果该模型被设计成在确定中间决策或特征时捕获人类可理解术语的置信度。这在需要减轻更高级别的风险的人工智能应用中尤其有用。