[发明专利]在神经网络中进行特征选择及构建神经网络的方法和设备

权利要求书

1.一种在神经网络中进行特征选择的方法，包括：

接收包含待在神经网络中进行特征选择的特征的训练集，所述神经网络包括输入层、中间层、输出层以及连接在所述输入层和所述中间层之间的稀疏层；以及

通过所述训练集对所述神经网络进行训练，以确定所述神经网络中的输入层、稀疏层、中间层和输出层之间的连接权重，其中针对所述稀疏层设置有稀疏性约束，用以对与所述稀疏层连接的所述输入层的节点进行选择。

2.根据权利要求1所述的方法，其中所述稀疏层的节点与所述输入层的节点按照一对一方式连接。

3.根据权利要求1所述的方法，其中所述输入层中与被划分为相同特征组的多个待选择特征相关联的多个节点被连接到所述稀疏层中的同一节点。

4.根据权利要求1至3任一项所述的方法，其中所述稀疏性约束为KL距离约束。

5.根据权利要求4所述的方法，其中所述KL距离约束被包括在用于神经网络训练的目标函数中，且被表示为：

λ1Σj=1s1KL(ρ||ρ^j)]]>

其中，λ₁指示预先确定的优化参数，j指示所述稀疏层的节点的索引，s₁指示所述稀疏层的节点的总数，ρ指示预定的稀疏化参数，指示所述稀疏层中的节点j针对所有训练样本的激活值的平均值，指示KL散度约束。

6.根据权利要求5所述的方法，其中所述被表示为：

KL(ρ||ρ^j)-ρlogρρ^j+(1-ρ)log1-ρ1-ρ^j]]>

ρ^j=1mΣi=1maj(1)(x(i))]]>

aj(1)(x(i))=f(<Wj.(0),x(i)>+bj(0))]]>

其中m指示所述训练集中的训练样本的数目，指示所述稀疏层的节点j的激活值，x⁽ⁱ⁾指示第i个训练样本；指示所述输入层相对于所述稀疏层中的节点j的连接权重向量；以及指示所述输入层的偏置节点相对于所述稀疏层中的节点j的偏置值。