[发明专利]数字图像内容识别、数字图像内容识别训练的设备和方法

说明书

数字图像内容识别、数字图像内容识别的训练设备和方法，所述方法包括从数据库收集（302）第一数字图像集合；创建（304）包括所收集的第一数字图像集合的第一训练集合；在第一训练阶段中使用第一训练集合训练（306）第一人工神经网络；以及在第二训练阶段中，收集（308）经训练的第一特征提取器的第一参数，收集（310）经训练的分类器的第二参数，取决于第一参数确定（312）第二人工神经网络的第二特征提取器的第三参数，确定（314）用于对第二人工神经网络的数字图像进行分类的第二分类器的第四参数，其特征在于：第三参数是形成第二特征提取器的第二人工神经网络的权重，其中第四参数是形成第二分类器的第二人工神经网络的权重。

背景技术

本发明涉及数字图像内容识别的设备和方法，以及训练数字图像内容识别的设备和方法。

ZHAO HENG 等人的“Few-Shot and Many-Shot Fusion Learning in MobileVisual Food Recognition”（2019 IEEE国际电路与系统研讨会，IEEE，2019年5月26日，1-5页）公开了少镜头和多镜头融合学习和原型神经网络的方面。

人工神经网络可以被训练用于数字图像内容识别。通常，特征提取器提取数字图像的特征，并且分类器取决于所提取的特征从多个预定类确定针对数字图像内容的类。为了产生有用的识别，利用训练数据训练人工神经网络。当用于训练人工神经网络的训练数据包括每个类中的许多数字图像时，可实现好的结果。当训练数据——在训练数据在一些类中包括非常少的数字图像而其他类具有许多数字图像的意义上——不平衡时，人工神经网络的训练不太有效。因此，难以从这样的不平衡的训练数据提供好的数字图像模式识别机制。因此，以高效的方式为大量极度不平衡的类提供数字图像内容识别是合期望的。

发明内容

这通过根据独立权利要求的设备和方法来实现。

一种训练用于图像内容识别的神经网络的计算机实现的方法包括从数据库收集第一数字图像集合，其中从被分配给多镜头类的数字图像采样第一数字图像集合；创建第一训练集合，第一训练集合包括所收集的第一数字图像集合；在第一训练阶段中使用第一训练集合训练第一人工神经网络，第一人工神经网络包括用于对数字图像进行分类的第一特征提取器和第一分类器；以及在第二训练阶段中，收集经训练的第一特征提取器的第一参数，收集经训练的分类器的第二参数，取决于第一参数确定第二人工神经网络的第二特征提取器的第三参数，确定用于对第二人工神经网络的数字图像进行分类的第二分类器的第四参数，其中第二人工神经网络是神经网络或包括神经网络，其中第一参数是形成经训练的第一特征提取器的第一人工神经网络的权重，其中第二参数是形成经训练的第一分类器的第一人工神经网络的权重，其特征在于：第三参数是形成第二特征提取器的第二人工神经网络的权重，其中第四参数是形成第二分类器的第二人工神经网络的权重，其中第三参数是形成经训练的第一特征提取器的第一人工神经网络的权重，其中经训练的第一分类器的权重被拆分成长度和方向，并且第二分类器的第四参数基于所述方向被确定。该方法例如基于基线神经网络的训练为原型神经网络提供预训练的参数集合。第四参数是原型，或者是语义上预期的基本事实特征。在第四参数与测试图像特征之间的相似性或距离然后可用于对测试图像分类。

有利地，所述方法包括从数据库收集第二数字图像集合，其中从被分配给少镜头类的数字图像采样第二数字图像集合；针对第二训练阶段创建包括第二数字图像集合的第二训练集合，使用第二训练集合训练第二人工神经网络。

有利地，对于第一训练集合，对被分配给多镜头类的数字图像采样，其中对于第二训练集合，对被分配给少镜头类的数字图像采样，数据库包括被分配给多镜头类的数字图像和被分配给少镜头类的数字图像，其中每个多镜头类包括比每个少镜头类多的数字图像。这改进了针对训练数据的原型网络性能，所述训练数据从多镜头类和少镜头类同等地采样相同数量的图像。