[发明专利]用于训练卷积神经网络的方法和装置

说明书

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及用于训练卷积神经网络的方法和装置。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。

然而，随着卷积神经网络的深度的不断加深，导致用于训练卷积神经网络的各层的输入信息集合的分布不相同，使得训练出的卷积神经网络不稳定。因此，如何提高卷积神经网络的稳定性就成为了当前亟待解决的问题。

发明内容

本申请实施例的目的在于提出一种改进的用于训练卷积神经网络的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于训练卷积神经网络的方法，该方法包括：对于初始化卷积神经网络的各层中的每层，利用至少一块显卡存储该层的输入信息集合，其中，至少一块显卡中的每块显卡存储至少部分该层的输入信息集合；计算至少一块显卡中的每块显卡所存储的至少部分该层的输入信息集合的均值和方差；将至少一块显卡中的每块显卡所存储的至少部分该层的输入信息集合的均值和方差发送至其他显卡，以计算该层的输入信息集合的均值和方差；利用该层的输入信息集合的均值和方差对该层的输入信息集合进行归一化处理，得到该层的归一化的输入信息集合；利用各层的归一化的输入信息集合对初始化卷积神经网络进行训练，得到训练完成的卷积神经网络。

在一些实施例中，利用各层的归一化的输入信息集合对初始化卷积神经网络进行训练，得到训练完成的卷积神经网络，包括：执行以下训练步骤：将每层的归一化的输入信息集合输入至初始化卷积神经网络的每层，得到特征向量集合，确定特征向量集合是否满足预设条件，若满足预设条件，则将初始化卷积神经网络作为训练完成的卷积神经网络；响应于不满足预设条件，调整初始化卷积神经网络的参数，并继续执行训练步骤。

在一些实施例中，输入信息集合包括多个相同类别的输入信息；以及确定特征向量集合是否满足预设条件，包括：计算多个相同类别的输入信息所对应的多个特征向量中的各个特征向量之间的距离，得到第一计算结果；基于第一计算结果，确定是否满足预设条件。

在一些实施例中，计算多个相同类别的输入信息所对应的多个特征向量中的各个特征向量之间的距离，得到第一计算结果，包括：计算多个相同类别的输入信息所对应的多个特征向量中的各个特征向量之间的欧氏距离，得到第一计算结果。

在一些实施例中，基于第一计算结果，确定是否满足预设条件，包括：确定多个相同类别的输入信息所对应的多个特征向量中的各个特征向量之间的欧氏距离是否均小于第一预设距离阈值；若均小于第一预设距离阈值，则满足预设条件；若不是均小于第一预设距离阈值，则不满足预设条件。

在一些实施例中，输入信息集合包括多个不同类别的输入信息；以及确定特征向量集合是否满足预设条件，包括：计算多个不同类别的输入信息所对应的多个特征向量中的各个特征向量之间的距离，得到第二计算结果；基于第二计算结果，确定是否满足预设条件。

在一些实施例中，计算多个不同类别的输入信息所对应的多个特征向量中的各个特征向量之间的距离，得到第二计算结果，包括：计算多个不同类别的输入信息所对应的多个特征向量中的各个特征向量之间的欧氏距离，得到第二计算结果。

在一些实施例中，基于第二计算结果，确定是否满足预设条件，包括：确定多个不同类别的输入信息所对应的多个特征向量中的各个特征向量之间的欧氏距离是否均大于第二预设距离阈值；若均大于第二预设距离阈值，则满足预设条件；若不是均大于第二预设距离阈值，则不满足预设条件。

在一些实施例中，该方法还包括：获取第一输入信息和第二输入信息；将第一输入信息和第二输入信息输入至训练完成的卷积神经网络，得到第一输入信息的特征向量和第二输入信息的特征向量；计算第一输入信息的特征向量和第二输入信息的特征向量之间的距离；基于所计算的距离，确定第一输入信息和第二输入信息是否是同一类别的输入信息，并输出确定结果。