[发明专利]信息处理装置、控制方法和存储信息处理程序的存储介质

说明书

本发明涉及信息处理装置、控制方法和存储信息处理程序的存储介质。一种控制信息处理装置的方法，该信息处理装置被配置成通过使用神经网络来执行学习处理，该方法包括：执行计算处理，该计算处理包括计算学习率，该学习率被配置成以连续曲线的形式变化使得从学习率处于最大值的中间值时到学习率达到最小值时的时间短于从学习处理开始时到学习率达到最大值的中间值时的时间；以及执行控制处理，该控制处理包括基于所计算的学习率来控制在更新处理中更新权重参数时的更新量。

技术领域

本文讨论的实施方式涉及信息处理装置、控制方法和用于存储信息处理程序的非暂态计算机可读存储介质。

背景技术

在许多情况下，使用深度神经网络(DNN)的学习处理包括用于识别输入数据的前向传播处理、在识别结果与正确数据之间的差值被向后传播时计算梯度信息的后向传播处理以及用于基于梯度信息更新权重参数的更新处理。

在用于更新权重参数的这些处理的更新处理中，基于学习率(LR)控制更新量。在该处理中使用的学习率通常在学习处理开始时被设置为大的值并且随着学习处理的进行而被改变为较小的值。

[引用列表]

[专利文献]

日本公开特许公报第2017-126260号。

日本公开特许公报第2017-16414号。

发明内容

[技术问题]

然而，在使用DNN进行学习处理的情况下，如何改变更新处理中使用的学习率影响在有限时间内获得的学习结果(经训练的模型)的性能。

在一个方面，目的是提高学习结果的性能。

[问题的解决方案]

根据实施方式的方面，一种控制信息处理装置的方法，该信息处理装置被配置成通过使用神经网络来执行学习处理，该方法包括：执行计算处理，该计算处理包括计算学习率，该学习率被配置成以连续曲线的形式变化使得从学习率处于最大值的中间值时到学习率达到最小值时的时间短于从学习处理开始时到学习率达到最大值的中间值时的时间；以及执行控制处理，该控制处理包括基于所计算的学习率来控制在更新处理中更新权重参数时的更新量。

[发明的有益效果]

本公开内容提高了学习结果的性能。

附图说明

图1示出了信息处理装置的功能配置的示例。

图2示出了信息处理装置的硬件配置的示例。

图3示出了学习处理中的学习数据的配置示例。

图4示出了信息处理装置的学习单元的功能配置的示例。

图5是示出信息处理装置的参数接收单元和学习率计算单元的功能配置的示例以及指示学习率的变化的连续曲线的第一图。

图6A和图6B示出了关于由信息处理装置执行的设置处理和学习处理的过程的流程图。

图7示出了学习结果的准确度的示例。

图8是示出信息处理装置的参数接收单元和学习率计算单元的功能配置的示例以及指示学习率的变化的连续曲线的第二图。

具体实施方式

在下文中，参照附图描述实施方式。在本说明书和附图中，具有基本相同的功能配置的部件被分配有相同的附图标记，并且省略重复的描述。

[第一实施方式]

信息处理装置的功能配置