[发明专利]数字图像内容识别、数字图像内容识别训练的设备和方法

说明书

数字图像内容识别、数字图像内容识别训练的设备和方法。用于数字图像内容识别的设备和计算机实现的方法，该方法包括通过基线模型神经网络（110）取决于数字图像确定针对数字图像内容的第一候选类，该基线模型神经网络（110）包括用于对数字图像进行分类的第一特征提取器（114）和第一分类器（116）；通过原型神经网络（112）确定针对数字图像内容的第二候选类，该原型神经网络（112）包括用于对数字图像进行分类的第二特征提取器（120）和第二分类器（122）；取决于第一候选类的第一置信度分数与阈值的比较结果或者第一候选类的第一置信度分数与第二候选类的第二置信度分数的比较结果，将数字图像内容分类成第一候选类或第二候选类。

背景技术

本发明涉及数字图像内容识别的设备和方法，以及训练数字图像内容识别的设备和方法。

人工神经网络可以被训练用于数字图像内容识别。通常，特征提取器提取数字图像的特征，并且分类器取决于所提取的特征从多个预定类确定针对数字图像内容的类。为了产生有用的识别，利用训练数据训练人工神经网络。当用于训练人工神经网络的训练数据包括每个类中的许多数字图像时，可实现好的结果。当训练数据——在训练数据在一些类中包括非常少的数字图像而其他类具有许多数字图像的意义上——不平衡时，人工神经网络的训练不太有效。因此，难以从这样的不平衡的训练数据提供好的数字图像模式识别机制。因此，以高效的方式为大量极度不平衡的类提供数字图像内容识别是合期望的。

发明内容

这通过根据独立权利要求的设备和方法来实现。

一种数字图像内容识别的计算机实现的方法，包括：通过基线模型神经网络取决于数字图像确定针对数字图像内容的第一候选类，所述基线模型神经网络包括用于对数字图像进行分类的第一特征提取器和第一分类器；通过原型神经网络确定针对数字图像内容的第二候选类，所述原型神经网络包括用于对数字图像进行分类的第二特征提取器和第二分类器，取决于第一候选类的第一置信度分数与阈值的比较结果或者第一候选类的第一置信度分数与第二候选类的第二置信度分数的比较结果，将数字图像内容分类成第一候选类或第二候选类。这是以高效的方式用于大量的极度不平衡的类的端到端模型。

有利地，所述方法包括对数字图像应用一个或多个变换，特别是裁剪、镜像、旋转、平滑或对比度降低，以创建经修改的数字图像，确定经修改的数字图像的第一候选类和/或第二候选类，确定数字图像和经修改的数字图像的候选类的数值表示的平均值，取决于所述平均值确定针对数字图像内容的类。当利用训练图像的“部分”信息或“失真信息”对模型进行训练但仍然可以学习正确的分类时，变换意在使模型更稳健。在另一方面，在变换中，训练图像和测试图像两者均被归一化以减少图像中的内方差。例如，具有在0~255之间的像素值的RGB图像将在0~1的范围中被归一化，因此这使得神经网络学习更快。

一种训练用于图像内容识别的人工神经网络的计算机实现的方法，包括：从数据库收集第一数字图像集合，所述数据库包括被分配给多镜头类的数字图像和被分配给少镜头类的数字图像，其中特别是仅从被分配给多镜头类的数字图像采样第一数字图像集合；创建包括所收集的第一数字图像集合的第一训练集合；在第一阶段中使用第一训练集合训练第一人工神经网络，所述第一人工神经网络包括用于对数字图像进行分类的第一特征提取器和第一分类器；收集经训练的第一特征提取器的第一参数，在第二阶段中取决于第一参数确定第二人工神经网络的第二特征提取器的第二参数，所述第二人工神经网络包括用于对数字图像进行分类的第二特征提取器和第二分类器。利用包含最多训练图像的类来训练基线模型。例如利用基于余弦范数距离的分类器来训练基线模型。其余类的数字图像不用于第一阶段中的训练。由于基线模型不能从大量类中学习好的特征，因此原型神经网络、即质子集（protonet）在其特征提取器中使用基线模型参数，并且计算其余类中的类的数字图像的形心。这以高效的方式为大量的极度不平衡的类提供端到端模型。

有利地，对于每个多重镜头类中的第一数字图像，对相同量的数字图像采样。这意味着训练图像从每个多重镜头类被同等地采样。因此，所学习的特征不会有利于具有更多训练图像的类。该基线模型学习基础类的特征。