[发明专利]深度学习模型的可解释性参数获取方法及装置

说明书

本发明公开了深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质，涉及人工智能技术，包括将测试图片对应的像素矩阵输入至连接主义机器学习模型进行运算，得到输出结果及各个隐层单元的单元输出结果；获取最后一层隐层中单元输出结果为最大值的目标隐层单元，以根据其与相关性算法，计算各隐层单元的隐层单元相关性值；以各层隐层中隐层单元相关性值为最大值的隐层单元以组成当前目标隐层单元清单；根据输出结果与输出结果调节值求和得到当前输出结果；将当前输出结果作为扰动输出值获取所述隐藏层中各个隐层单元对应的单元扰动值；之后进行升序排序得到隐层单元排序结果。实现了对深度学习模型的可解释性参数的准确和可视化获取。

技术领域

本发明涉及人工智能的模型托管技术领域，尤其涉及一种深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质。

背景技术

随着深度学习的发展，各类模型的性能表现越来越好，在各个领域都有突破性的进展。然而，大多数的深度学习模型依旧处于无法解释的黑盒状态，影响了模型在某些敏感领域的部署。为了解决这一难题，目前常见的方法是使用可视化的敏感性分析和相关度分析传递。由于敏感性分析和相关度分析的自身机制的限制，可视化的结果上无法体现不同的网络层之间的关系，因而无法揭示神经网络模型层与层之间的运作机制。

发明内容

本发明实施例提供了一种深度学习模型的可解释性参数获取方法、装置、计算机设备及存储介质，旨在解决现有技术中深度学习模型使用可视化的敏感性分析和相关度分析传递，由于自身机制的限制，可视化的结果上无法体现不同的网络层之间的关系的问题。

第一方面，本发明实施例提供了一种深度学习模型的可解释性参数获取方法，其包括：

获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；

调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；

获取所述隐藏层与输出层连接的最后一层隐层中单元输出结果为最大值的目标隐层单元，根据目标隐层单元的单元相关性值、权重参数、偏置参数、以及所调用预先存储的相关性算法，计算隐藏层中各隐层单元的隐层单元相关性值；

获取所述隐藏层中每一层隐层中隐层单元相关性值为最大值的当前目标隐层单元，以组成当前目标隐层单元清单；

调用预先设置的输出结果调节值，将所述输出结果与所述输出结果调节值求和得到当前输出结果；

根据所述当前输出结果及所述连接主义机器学习模型，获取所述隐藏层中各个隐层单元对应的单元扰动值；以及

将所述隐藏层中各个隐层单元根据对应的单元扰动值进行升序排序，得到隐层单元排序结果。

第二方面，本发明实施例提供了一种深度学习模型的可解释性参数获取装置，其包括：

机器学习模型获取单元，用于获取已完成训练的连接主义机器学习模型；其中，所述连接主义机器学习模型中包括输入层、隐藏层和输出层，所述隐藏层包括多层隐层，每一层隐层包括多个隐层单元，每一隐层中包括的所有隐层单元与下一相邻隐层中包括的所有隐层单元是全连接关系；

测试图片输入单元，用于调用图片测试集，随机获取所述图片测试集中的一张测试图片，将所述测试图片的像素矩阵输入至所述连接主义机器学习模型进行运算，得到输出层的输出结果，以及得到隐藏层中各个隐层单元的单元输出结果以组成单元输出结果集合；