[发明专利]训练神经网络的方法、系统及存储介质

权利要求书

1.一种训练神经网络的计算机实现的方法，其中所述神经网络被配置为接收输入数据项并且处理所述输入数据项以对预定的多个标签的集合中的每个标签生成相应分数，其中：

对所述神经网络的所述输入是图像或已从所述图像中提取的特征，并且所述神经网络的所述输出是所述图像的对象类别集合中的每一个对象类别的分数，每个分数表示所述图像包含属于一类别的对象的图像的估计的可能性，或

对所述神经网络的所述输入是因特网资源、文档或文档的部分或从所述因特网资源、所述文档或所述文档的所述部分提取的特征，并且所述神经网络的所述输出是主题集合中的每一个主题的分数，每个分数表示所述因特网资源、所述文档或所述文档的所述部分是关于一主题的估计的可能性，或

对所述神经网络的所述输入是针对用户的个性化推荐的特征，并且所述神经网络的所述输出是内容项集合中的每一个内容项的分数，每个分数表示所述用户将有利地响应于被推荐一内容项的估计的可能性，或

对所述神经网络的所述输入是一种语言的文本，并且所述神经网络的所述输出是另一种语言的文本片段集合中的每一个文本片段的分数，每个分数表示所述另一种语言的该文本片段是所述输入文本到所述另一种语言的适当翻译的估计的可能性，或

对所述神经网络的所述输入是口头发言的特征，并且所述神经网络的所述输出是文本片段集合中的每一个文本片段的分数，每个分数表示该文本片段是所述口头发言的正确转录的估计的可能性，

所述方法包括：

获得包括多个训练项的训练数据的集合，其中每个训练项与来自所述预定的多个标签的集合的相应标签相关联；以及

修改所述训练数据以生成正则化所述神经网络的训练的正则化训练数据，包括：

对于每个训练项，确定是否修改与训练项相关联的标签；以及

响应于确定修改与训练项相关联的标签，将与所述训练项相关联的标签改变为来自所述预定的标签的集合的不同的标签；以及

在正则化训练数据上训练神经网络。

2.根据权利要求1所述的方法，其中，将与所述训练项相关联的标签改变为来自所述预定的标签的集合的不同的标签包括：

将标签从正确地描述训练项的标签改变为不正确地描述训练项的标签。

3.根据权利要求1所述的方法，其中，所述不同的标签是从所述预定的标签的集合中随机地选择的。

4.根据权利要求1所述的方法，其中，所述标签包括训练标签分布，所述训练标签分布包括针对与训练图像的集合相关联的预定的标签的集合中的每个标签的所述训练项的分数。

5.根据权利要求4所述的方法，其中，将与所述训练项相关联的标签改变为来自所述预定的标签的集合的不同的标签包括：将训练数据项的训练标签分布中的分数的分布从代表正确标签的分数的分布改变为代表不正确标签的分数的分布。

6.根据权利要求1-5中的任一项所述的方法，其中，确定是否修改与训练项相关联的标签是基于预定概率的。

7.根据权利要求6所述的方法，其中，所述预定概率是10％。