[发明专利]学习方法、计算机可读记录介质和学习装置

说明书

提供了一种学习方法、计算机可读记录介质和学习装置。学习装置通过将原始训练数据输入至包括在学习模型中的第一神经网络来生成第一特征值和第二特征值。学习装置对学习模型的至少一个参数和对输入至第一神经网络的数据进行重构的解码器的参数进行学习，以使得通过将第一特征值和第二特征值输入至解码器而从解码器输出的重构数据变得接近原始训练数据，并且使得通过将第二特征值输入至包括在学习模型中的第二神经网络而从该第二神经网络输出的输出数据变得接近原始训练数据的正确数据。

相关申请的交叉引用

本申请要求2019年1月17日向日本特许厅提交的日本专利申请第2019-006133号的优先权，该申请的全部内容通过引用被并入在此。

技术领域

本文讨论的实施方式涉及学习方法等。

背景技术

在对深度学习模型进行学习时，训练数据(学习数据)的量是显著地有助于性能的因素，因此优选地具有更多的训练数据。如果训练数据不足并且将训练数据中不存在的类型的应用数据应用于利用训练数据进行学习的深度学习模型，则增加了无法获得适当的输出结果的可能性，从而导致失败。

此外，在处理客户数据的业务站点中，考虑到合同或信息泄露的风险，难以长时间保存一个客户的数据或将其重新用于另一客户的任务。因此，训练数据可能不足。

当训练数据不足时，通常执行数据扩展(data augmentation)。数据扩展是对原始训练数据进行噪声添加(noise addition)、平行移位以及缺失(missing)等处理，并且使得能够将训练数据的范围扩大到应用数据的范围。

存在如下传统技术：在该传统技术中，通过保存通过将原始训练数据输入至深度学习模型中而获取的中间特征值来在不保存原始训练数据的情况下增加在对深度学习模型进行新的学习时可以使用的数据的量(例如Utako Yamamoto等人的“DeformationEstimation of an Elastic Object by Partial Observation Using a NeuralNetwork”)。

图12是用于描述传统技术的图。在图12中，深度学习模型10包括第一神经网络(NN)10a和第二NN 10b。第一NN 10a是在输入训练数据时计算中间特征值的NN。第二NN 10b是在输入中间特征值时计算输出标签的NN。假设已经通过使用存储在数据库10P中的客户P的多个训练数据学习了第一NN 10a和第二NN 10b的参数。在学习结束时，将数据库10P的信息返回给客户P(或丢弃)。

例如，当训练数据xP1被输入至第一NN 10a时，计算中间特征值zP1。当中间特征值zP1被输入至第二NN 10b时，计算输出标签yP1'。在传统技术中，在返回数据库10P的信息之前，将根据训练数据xP1计算的中间特征值zP1存储在数据库13中。在传统技术中，根据存储在数据库10P中的另一训练数据计算的中间特征值也被存储在数据库13中。

随后，在传统技术中，通过使用数据库13和其中存储有客户Q的多个训练数据的数据库11Q来学习新的深度学习模型11(增量学习)。深度学习模型11包括第一NN 11a和第二NN 11b。在传统技术中，将经学习的第一NN 10a的参数设置为第一NN 11a的参数。在传统技术中，将经学习的第二NN 10b的参数设置为第二NN 11b的参数。

例如，当数据库11Q的训练数据xQ1被输入至第一NN 11a时，计算中间特征值zQ1。当中间特征值zQ1被输入至第二NN 11b时，计算输出标签yQ1'。在传统技术中，学习第二NN11b的参数，以使得输出标签yQ1'变得更接近正确标签。

此外，当数据库13的中间特征值zP1被输入至第二NN 11b时，计算输出标签yP1'。在传统技术中，学习第二NN 11b的参数，以使得输出标签yP1'变得更接近正确标签。