[发明专利]一种基于改进的Focal损失函数的图像识别方法

说明书

本专利公开了一种基于改进的Focal损失函数的图像识别方法，在已有的Focal损失函数的基础上，对Focal损失函数的调制因子进行改进，使函数对困难样本的关注度更高，对简单样本的关注度相对下降；然后，在基于Focal损失函数的卷积神经网络模型的基础上，对剩余负样本集进行预测，筛选所有困难样本，并分成N等份，分别加入原训练集，形成N个新训练集，之后训练多个模型，根据N个模型的投票选择，确定最终预测图片标签的结果。本发明在原有的Focal损失函数的基础上，对困难样本的关注度更高，提高了模型泛化能力；在负样本过多的情形下，利用原有模型筛选出困难样本加入训练集，既提高了模型的准确性，又充分利用了可用样本，也减少了训练模型时的计算量。

技术领域

本发明属于基于深度学习的多标签图像识别技术领域，具体涉及一种基于改进的Focal损失函数的图像识别方法。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一门专门针对图像识别问题设计的神经网络。CNN可以有效的获取原始图像的特征，并且极少经过预处理过程，相对于传统的机器学习，卷积神经网络可以自动提取图片特征，这源于卷积神经网络的两个重要特性：稀疏连接和权值共享。稀疏连接是指卷积层的节点仅仅和前一层的部分节点相连接，只用来学习局部特征。权值共享是指，用卷积核扫描图片过程中，图片中的每个位置使用同样的卷积核，所以权重相同，也就是共享。

CNN的基本结构是由输入层、卷积层、池化层、全连接层以及输出层构成。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层之后在连接一个卷积层，以此类推。卷积层有多个特征面组成，每个特征面由多个神经元组成，它的每一个神经元通过卷积核与上一层特征面的局部区域连接。卷积核是一个权值矩阵(如对于二维图像而言可为2X2或者5X5矩阵)，CNN的卷积层就是利用卷积核通过卷积操作提取输入的不同特征，比如一些低级特征如边缘、线条、角落，更高级的特征可由更高层的卷积层提取。池化层紧跟在卷积层之后，同样由多个特征面组成，它的每一个特征面唯一对应于其上一层的一个特征面，不会改变特征面的个数。在CNN的结构中，多个卷积层和池化层之后，连接的是一个或者一个以上的全连接层，全连接层可以整合卷积层或者池化层中的具有类别区分的局部信息。一般为了提升CNN网络性能，全连接层每个神经元的激活函数采用ReLU函数，最后一个全连接层输出值被传递给输出层。

对于识别分类任务而言，选择一个合适的损失函数是非常重要的，损失函数用来评估模型的预测值与真实值的差异程度，它也是神经网络中的目标函数。神经网络训练或优化的过程就是最小化损失函数的过程，损失函数值越小，说明模型的预测值越接近真实值，模型的准确性越好。常见的损失函数有平方损失函数、对损失函数、指数损失函数、交叉熵损失函数以及铰链损失函数等。

样本不平衡问题研究是机器学习领域的一个重要研究方向。使用数量不平衡的样本作为分类模型的训练集，会降低分类模型的泛化能力。图片分类研究早期使用手工特征方法，数据集的规模较小，即图片的数量很少，大约数百张。但是随着深度学习的崛起，小型的图片数据集已经不能满足模型训练的要求。

对于样本不平衡问题，解决问题的基本思路是使得正负样本在训练的过程有相同的权重，实践过程中，把数据集中较多的一类称为“多数类”，把样本较少的那一类称为“少数类”，解决方法有采样、数据合成、加权，一分类等。采样方法是指通过训练集进行处理，使其从不平衡的数据集变成平衡数据集。采样分为过采样和欠采样，过采样就是把少数类样本复制多份，缺点是数据集中反复出现一些样本，导致训练出来的模型会出现一定的过拟合现象；欠采样是指舍弃多余的多数类样本，缺点是最终的训练集丢失了数据，模型只学到了部分特征。数据合成方法是指利用已有样本生成更多样本，最常见的方法叫做SMOTE方法，它是利用样本空间特征的相似性来生成新样本。SMOTE方法会带来一些潜在问题，一方面增加了类别之间的重叠可能性，一方面生成一些无益样本。一分类是指，对于正负样本极不平衡的情况下，换一个不同的角度解决问题：看做一分类问题，对其中一类进行建模。