[发明专利]数据处理系统和数据处理方法

说明书

数据处理系统(100)具有学习部(140)，该学习部(140)根据通过对学习数据执行基于神经网络的处理而输出的输出数据和针对该学习数据的理想的输出数据之间的比较，对神经网络的最优化对象参数进行最优化。学习部(140)将如下的倾斜比参数作为最优化参数之一而进行优化，该倾斜比参数表示神经网络的激活函数的输入值位于正范围时的斜率和输入值位于负范围时的斜率之间的比率。

技术领域

本发明涉及数据处理系统和数据处理方法。

背景技术

神经网络是包含1个以上的非线性单元的数学模型，是预测与输入对应的输出的机器学习模型。多数的神经网络除了具有输入层和输出层以外，还具有1个以上的中间层(隐藏层)。各中间层的输出成为下一层(中间层或输出层)的输入。神经网络的各层根据输入和自身的参数而生成输出。

现有技术文献

非专利文献

非专利文献1：AlexKrizhevsky、Ilya Sutskever、Geoffrey E.Hinton、“ImageNetClassification with Deep Convolutional Neural Networks”、NIPS2012_4824

发明内容

发明要解决的问题

通过将ReLU函数用于激活函数，能够缓和使深度神经网络的学习困难的梯度消失问题。通过表现力的提高，能够学习的深度神经网络在包含图像分类在内的多种多样的任务中实现高性能。

但是，ReLU函数针对负值输入的梯度为0，因此，在1/2的期待值中，梯度完全消失，学习滞后。为了解决该问题，提出了在负值输入中具有微小斜率的固定梯度的Leaky ReLU函数，但是没有实现精度提高。

此外，提出了将针对负值输入的梯度作为最优化(学习)对象的参数的PReLU函数，与ReLU相比，实现了精度提高，但是，当使用梯度来学习PReLU的梯度参数时，有时梯度参数成为远远大于1的值，具有这种参数的PReLU的输出伴有发散，因此学习失败。

本发明是鉴于这种状况而完成的，其目的在于，提供能够实现比较高精度且稳定的学习的技术。

用于解决问题的手段

为了解决上述问题，本发明的某个方式的数据处理系统具有学习部，该学习部根据通过对学习数据执行基于神经网络的处理而输出的输出数据和针对该学习数据的理想的输出数据之间的比较，对神经网络的最优化对象参数进行最优化。学习部将倾斜比参数作为最优化参数之一而进行最优化，该倾斜比参数表示神经网络的激活函数的、输入值位于正范围时的斜率和输入值位于负范围时的斜率之间的比率。

本发明的另一个方式是数据处理方法。该方法具有以下步骤：通过对学习数据执行基于神经网络的处理，输出与学习数据对应的输出数据；以及根据与学习数据对应的输出数据和针对该学习数据的理想的输出数据之间的比较，对神经网络的最优化对象参数进行最优化。在对最优化对象参数进行最优化的步骤中，将倾斜比参数作为最优化参数之一而进行最优化，该倾斜比参数作表示神经网络的激活函数的、输入值位于正范围时的斜率和输入值位于负范围时的斜率之间的比率。

另外，以上的结构要素的任意组合、在方法、装置、系统、记录介质、计算机程序等之间转换本发明的表现而得到的部分作为本发明的方式也是有效的。

发明的效果

根据本发明，能够实现比较高精度且稳定的学习。

附图说明

图1是示出实施方式的数据处理系统的功能和结构的框图。

图2是示出数据处理系统进行的学习处理的流程图的图。

图3是示出数据处理系统进行的应用处理的流程图的图。