[发明专利]一种基于熵稳定约束的自动数据降维方法

权利要求书

1.一种基于熵稳定约束的自动数据降维方法，其特征在于，包括以下步骤：

步骤1，监测训练过程中网络输入层、隐含层和输出层的熵分布特征；

步骤2，依据网络学习目的灵活地组合待分析熵分布特征匹配差异；

步骤3，将匹配差异作为惩罚项加入网络整体损失函数中或是特异网络层的梯度项，而后经过多轮迭代后完成数据的降维，以用于后续分析；除了将不同组合的熵匹配差异作为惩罚项加入到自编码器的损失函数中，作为网络训练过程的约束项，达到网络训练过程中使熵趋于稳定的目标；还可以对特异网络层的梯度项，选择不同的惩罚项的惩罚系数，灵活地约束不同网络层的熵的稳定程度。

2.根据权利要求1所述的一种基于熵稳定约束的自动数据降维方法，其特征在于：步骤1，监测训练过程中网络输入层、隐含层和输出层的熵分布特征具体为：设X是网络某一层的输出，其取值集合为χ＝{x₀,x₁,…,x_N},概率分布函数p(x)＝Pr(X＝x),x∈χ,则定义事件X＝x_i的信息量为：

I(x_i)＝-ln(P(x_i))

变量X对于每一种取值x_i都有相应的概率P(x_i)，对其求期望即得该层输出X的熵：

H(X)＝E[I(X)]＝E[-ln(P(X))]。

3.根据权利要求1所述的一种基于熵稳定约束的自动数据降维方法，其特征在于：步骤2，依据网络学习目的灵活地组合待分析熵分布特征匹配差异具体为：降维结果变量设为z，设P(y_output，z)代表着实际输出对隐变量的联合分布，Q(y_target，z)代表着目标输出对隐变量的联合分布，则最小化实际输出对目标输出之间的联合分布KL距离，则等价完成了实际输出与目标输出之间的近似分布的目的；优化目标如下：

Min(D[P(y_output，z)||Q(y_target|z))

＝Min(D[P(y_output|z)||Q(z)]-D[Q(y_target|z)||P(z)])

对等式右边的第二项展开，过程如下：

基于相对熵的非负性，所以将等式右边的第一项从等式中删除，对优化目标进行放缩，则E[lnP(y_target|z)-lnP(Z)]为等式右边项值域的下界，故而将优化目标转为最大化E[lnp(z)-lnP(y_target|z)]，而这即是隐变量与目标变量之间条件分布的KL距离也即相对熵：

Min(D[P(y_output，z)||Q(y_target，z)])

∝

Min(D[P(y_output|z)||Q(z)])+Max(E[lnp(z)-lnP(y_target|z)])

至此完成了隐层与输出层之间熵分布差异性作为惩罚项的有效性证明。