[发明专利]神经网络的训练方法和通过该训练方法获得的神经网络

说明书

本发明提供了一种神经网络的训练方法和神经网络。该方法包括：对输入的一组训练样本重复进行多次运算处理，每次运算处理包含：对于每个激活节点，根据选择概率值，随机地从线性运算和非线性运算之中选择出第一选择结果，来进行第一次网络训练，以获得第一训练损失值；对于每个激活节点，根据选择概率值，随机地从线性运算和非线性运算之中选择出第二选择结果，来进行第二次网络训练，以获得第二训练损失值；当第一训练损失值小于第二训练损失值时，增加每个感兴趣节点的第一选择结果的概率值；以及当第二训练损失值小于等于第一训练损失值时，增加每个感兴趣节点的第二选择结果的概率值。本发明通过引入随机性，提高了神经网络的精度。

技术领域

本发明涉及深度学习领域，更具体地，涉及一种神经网络的训练方法和通过该训练方法获得的神经网络。

背景技术

深度学习，即深度神经网络，是近年来的研究热点之一。深度神经网络与传统神经网络相比没有大的理论改进，最主要的特点是增加了网络的深度或者说增加了网络的层数，同时更得力于大规模数据与高性能的计算硬件的普及。具有标志性的事件是，深度学习在2013年的ImageNet图片分类比赛中对于非深度学习方法取得压倒性优势，从而获得研究者的广泛关注。近年来深度学习方法在图像、语音、自然语言处理等领域均取得了突破性发展。在图像领域，对于图片分类任务，深度神经网络已经取得接近人眼的分辨力；在语音识别、语音合成等语音信号处理领域，深度神经网络已经完全取代了传统的算法；在自然语言处理，深度神经网络从2015年开始，已经处于研究热点地位。另外，深度神经网络，也越来越多的在通用人工智能领域取得应用，如DeepMind公司设计的AlphaGo已经可以打败人类棋手。

目前工程实践中针对不同应用，深度神经网络大致可以分为三种类型。第一种，卷积神经网络(CNN)，卷积神经网络主要用于图像处理领域，可以获得图像中局部像素之间的特定特征。第二种，循环神经网络(RNN)，可以获得时序信号上的特定特征，主要用于自然语言处理、语音处理等领域。第三种，策略网络(Policy network)，可以根据当前的策略状态来生成当前策略下的最优策略。对于这些各种不同的应用，各种不同的网络，从理论与程序设计上又最终都可以归结为传统的经典单层神经网络。

在工程应用上，经典单层神经网络可以归结为输入值、权值系数、线性激活值和非线性激活值。其中，输入值、线性激活值和非线性激活值均为向量，以及权值系数为矩阵。

在经典单层神经网络的训练阶段，首先，通过权值系数对输入的一组训练样本(即，输入值)进行线性运算，以获得线性激活值；然后，利用非线性函数对获得的线性激活值进行非线性运算，以获得非线性激活值，从而得到训练损失值，即非线性激活值和输入值之间的差值。通过多次重复运算，不断地调整经典单层神经网络的权值系数的值，以使得训练样本的训练损失值变小，从而达到拟合数据的目的。从直观上理解，小的训练损失值往往代表着更佳的网络性能。

图1显示了传统的经典单层神经网络的结构示意图。为了简化，图1仅显示了具有三个激活节点1-3的简单的经典单层神经网络，并且忽略了神经网络的偏置输入。

在图1所示的经典单层神经网络中，向量X₁、X₂、X₃构成输入值表示输入到经典单层神经网络中的一组训练样本；向量Y₁、Y₂、Y₃构成线性激活值其中向量Y₁表示激活节点1的线性激活值，向量Y₂表示激活节点2的线性激活值，以及向量Y₃表示激活节点3的线性激活值；向量O₁、O₂、O₃构成非线性激活值其中向量O₁表示激活节点1的非线性激活值，向量O₂表示激活节点2的非线性激活值，以及向量O₃表示激活节点3的非线性激活值。

假设权值系数W为：