[发明专利]一种深度神经网络的贝叶斯结构学习方法及装置

说明书

本发明实施例提供一种深度神经网络的贝叶斯结构学习方法及装置。所述方法包括构建一个包括多个内部结构相同的学习单元的深度神经网络，各学习单元含有若干隐层，隐层间包括复数种计算单元，网络结构为各计算单元的相对权重，并采用参数化的变分分布来建模网络结构；提取训练子集，采用重参数化过程采样网络结构；计算证据下界；若证据下界的变化超过损失阈值，则优化网络结构和网络权重，并开始新训练。本发明实施例通过构建包括多个具有相同内部结构的学习单元的深度神经网络，通过训练集对所述学习单元中各隐层间各计算单元的相对权重进行训练，以得到优化的网络结构，从而为深度神经网络的预测性能和预测不确定性带来了全面提升。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种深度神经网络的贝叶斯结构学习方法及装置。

背景技术

贝叶斯深度学习旨在为灵活而有效的深度神经网络提供准确可靠的不确定性评估。传统上，贝叶斯网络在网络权重上引入不确定性，这往往可以防止模型容易过拟合的问题，也为模型带来了使用高效的预测不确定性。然而，在网络权重上引入不确定性存在问题。首先，人为设定的权重的先验分布往往不可靠，容易导致过剪枝等问题，使得模型拟合能力大大受限；其次，在权重上引入灵活的变分分布容易带来推理的困难，这是因为变分分布中复杂的依赖关系。最近，基于粒子的变分推理技术也被使用来优化贝叶斯网络，但是它们也存在粒子塌陷和退化等问题。

因此，现在的贝叶斯网络在实际应用中无法提供准确可靠的预测性能。

发明内容

由于现有方法存在上述问题，本发明实施例提供一种深度神经网络的贝叶斯结构学习方法及装置。

第一方面，本发明实施例提供了一种深度神经网络的贝叶斯结构学习方法，包括：

构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元，所述学习单元包括预设层数的隐层，且每两个隐层间包括复数种计算单元，定义网络结构为各计算单元的相对权重，并采用参数化的变分分布来建模所述网络结构；

从预设的训练集中随机提取训练子集，并采用重参数化过程采样所述学习单元的网络结构；

根据所述采样的网络结构，计算所述深度神经网络的证据下界ELBO；

若所述证据下界的变化超过预设的损失阈值，则根据预设的优化方法优化所述网络结构和网络权重，并再次从所述训练集中随机提取训练子集以继续对所述学习单元的网络结构进行训练；

若所述证据下界的变化未超过预设的损失阈值，则判定训练结束。

进一步地，所述采用重参数化过程采样所述学习单元的网络结构；具体包括：

根据预设的适应性系数，采用重参数化过程采样所述学习单元的网络结构。

进一步地，所述根据所述采样的网络结构，得到所述深度神经网络的证据下界；具体包括：

根据所述采样的网络结构，计算所述训练子集中经过标注的各样本对应的输出结果，并计算所述深度神经网络的误差，以及所述网络变分分布与预设的先验分布中的对数密度差值；

将所述深度神经网络的误差和所述对数密度差值进行加权求和，以得到所述深度神经网络的证据下界。

进一步地，所述构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元；具体包括：

构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元，在预先确定的学习单元间插入预设的下采样层和/或上采样层；其中，所述下采样层包括：批正则化层、线性整流层、卷积层和池化层，所述上采样层由反卷积层构建。

进一步地，所述深度神经网络的输入层为用于预处理的卷积层，输出层为线性全连接层。