[发明专利]基于二元决策图的二值神经网络定量分析方法

权利要求书

1.一种基于二元决策图的二值神经网络定量分析方法，其特征在于，具体包括如下步骤：

1)将待分析的输入样本以及样本扰动映射得到的样本空间进行编码，编码成二元决策图输出；

2)将二值神经网络视为一系列模块的线性组合，以模块为单位进行划分，将每个模块编码成基数约束的集合；

3)基于步骤2)中得到的二值神经网络所有模块的基数约束，进一步编码成一个二元决策图：对于单个模块，对每个模块中的每个基数约束进行二元决策图转换编码后，与步骤1)输入样本空间所对应的二元决策图进行与操作，再分别与各自对应的输出变量做一次同或操作，然后完成一个模块集合与操作；将所有模块的二元决策图组合，得到最终组合二元决策图；

4)对步骤3)所得最终组合二元决策图进行进行二值神经网络鲁棒性分析及可解释性分析；

鲁棒性分析，直接对所有错误类别的BDD的最小项进行计数，得到的数量累加即为输入空间的所有误分类样本的数量；

可解释性分析，给定一个输入样本，以及样本扰动，借助已有运算BDD的工具直接提取步骤3)中得到的错误类别BDD的质蕴含项以及共有特征，进而定位输入样本在BNN分类时起到关键作用的特征。

2.根据权利要求1所述基于二元决策图的二值神经网络定量分析方法，其特征在于，所述步骤1)中输入样本扰动允许两种定义方式：基于汉明距离的样本扰动和基于固定索引的样本扰动。

3.根据权利要求2所述基于二元决策图的二值神经网络定量分析方法，其特征在于，所述基于汉明距离的样本扰动所对应的样本空间编码方法如下：

1.1.1)给定一个输入样本以及汉明距离k,是一个向量，向量大小为整数n，输入样本空间用如下的基数约束来表示：

该约束同时存在另外一种等价的表示形式

其中，对于任意的j∈{1,...,n},l_j表示一个数理逻辑中的文字，j角标表示此n个文字中的第j个文字，上面的基数约束表示n个文字累加之和小于等于汉明距离k；设是一个由布尔变量组成的n维布尔向量，表示向量中第j个布尔变量；输入样本中的每项对应与中的每项做异或计算，得到的与布尔向量的汉明距离满足基数约束；

1.1.2)将1.1.1)的基数约束编码为二元决策图，每个节点被基数约束中的一个文字l_j标记，图中由节点发出的有向边，实线表示将文字l_j赋值为1，虚线则表示将其赋值为0，如果则直接用节点来替换l_j，其他保持不变；如果则除了用节点来替换l_j节点外，还要将该节点的实线边与虚线边互换获得编码成二元决策图输出。

4.根据权利要求2所述基于二元决策图的二值神经网络定量分析方法，其特征在于，所述基于固定索引的样本扰动所对应的样本空间编码方法如下：

1.2.1)给定一个输入样本以及一个固定索引集合则样本扰动后输入样本空间表示为如下集合：

设是一个由布尔变量组成的n维布尔向量，表示向量中第j个布尔变量；用布尔表达式描述则为：∧为集合与操作，对于所有j,都进行括号内的与操作，括号里表示：如果那么就跟做与操作，否则就跟做与操作，最终得到一个布尔表达式；

1.2.2)将步骤1.2.1中得到的布尔表达式G转化为二元决策图。

5.根据权利要求1所述基于二元决策图的二值神经网络定量分析方法，其特征在于，所述步骤2)将每个模块编码成基数约束的集合的具体实现方法如下:

2.1)将神经网络的每个内部模块转化成约束集合:假设某内部模块的输入是一个n维向量，输出是一个m维向量,即该内部模块共有m个神经元，每个神经元输出值为+1或-1；

首先，将此模块的输入向量的每个元素值进行布尔转换，即，将输入的值域从原来的{+1,-1}ⁿ映射到{1,0}ⁿ；参数定义：设W_：,t∈{+1,-1}ⁿ是该模块第t个神经元的权重向量，即该模块线性层的权重矩阵W∈{+1,-1}^n×m的第t个列向量；W_j,t是W_：,t向量的第j个元素；是该模块第t个神经元的bias偏置值，即该模块线性层的偏置向量的第t个元素；μ_t,γ_t,σ_t,α_t是该模块第t个神经元的正则化参数，分别为正则计算层中的均值、偏置、方差和权重；

接下来，对于内部模块的每个神经元t∈{1,...,m}，得到如下基数约束：

且对于任意j∈{1,...,n},如果W_j,t＝+1,反之,如果W_j,t＝-1，则代表着输入的第j个布尔变量，如果用表示第t个神经元所对应的输出布尔变量，可有如下命题成立：

的输出为

以上命题刻画了所有输入变量与第t个输出变量的函数关系；

2.2)将神经网络的输出模块转化成约束集合：假设共计s个输出类，即s个神经元，接下来将为每个神经元t，都生成s-1个基数约束，即共计生成s×(s-1)个约束；

先将模块的输入映射到布尔域，参数定义：对于输出模块，约束转化中只有线性层的参数，给出以下定义：设W_：,t∈{+1,-1}ⁿ是输出模块第t个神经元的权重向量，即该模块线性层的权重矩阵W∈{+1,-1}^n×m的第t个列向量；W_j,t是W_：,t向量的第j个元素；是输出模块第t个神经元的bias偏置值；

接下来，给定某个输出类别t,以及一个其他类别t'，t'≠t，将按照如下方式编码得到一个基数约束：

且对于任意j∈{1,...,s},如果W_j,t-W_j,t'＝+2,如果W_j,t-W_j,t'＝-2，其中，NEG＝|{j∈{1,...,s}|W_j,t-W_j,t'＝-2}|，基数约束所表示的含义为：输出模块中的第t个神经元的输出值要比第t'个神经元的输出值大，同时，由于输出模块的取最大值运算会返回输出值最大的那个神经元所对应的类别最为最终的分类结果，因此，有如下命题成立：

分类结果为

进而，对于s个分类结果，可得到类似以上的s个命题。