[发明专利]基于双分支深度融合卷积神经网络的红枣品质分类方法

权利要求书

1.基于双分支深度融合卷积神经网络的一种红枣品质多分类方法，其特征在于，包括：

A，采集不同品质红枣样本图像，按照干制红枣外观品质的国家标准和企业对红枣品质分级的要求，将红枣样本图像分为丰满枣、干条枣、裂口枣和瑕疵枣四类；

B，对红枣样本数据进行预处理，并归一化为227*227的相同尺寸，作为后续网络训练的数据；

C，将卷积神经网络的结构设计为双分支网络，结合迁移学习策略和融合模块，对红枣图像数据进行网络训练和特征提取，生成并保存训练好的网络模型文件；

D，利用训练好的网络模型，对测试集红枣图像样本进行多分类识别；

步骤C中，设计双分支深度融合卷积神经网络具体如下：卷积神经网络设计为双分支结构，双分支深度融合卷积神经网络的第一部分是数据输入层，经过预处理的红枣图像作为该层的输入；第二部分是特征提出层，由两条分支组成，两条分支的卷积层和池化层的数量相同；第三部分是分类层，包括拼接融合层、Dropout层、分类层；其中，Concat层进行拼接融合，卷积核为1的卷积层进行分类；双分支深度融合卷积神经网络的具体结构如下：C1、双分支深度融合卷积神经网络的第一部分为数据输入，通过该部分数据输入层将四种不同品质的红枣数据作为后面双分支网络的数据输入；C2、双分支深度融合卷积神经网络的第二部分为图像特征提取层，该部分主要有两条分支网络组成，其中第一条分支网络主要由1个卷积层、8个Fire模块、3个池化层和若干Concat层组成；第二条分支网络主要由1个卷积层、8个Fusion模块、3个池化层和若干Concat层组成；C3、双分支深度融合卷积神经网络的第三部分为图像分类层，该部分由Dropout层、卷积核为1的卷积层、全局平均池化层和损失层组成；

步骤C2中，第一条分支为轻量级网络Squeezenet的特征提取部分，此分支由1个卷积核为3*3的卷积层、8个fire模块、2个最大池化层以及若干Relu激活函数和Concat层组成；其中fire模块由3个卷积层、3个Relu激活层和1个Concat层组成；卷积层为squeeze1*1、expand1*1和expand3*3；第一条分支网络结合迁移学习策略，利用在大型数据集Imagenet上训练生成的模型对红枣数据进行预训练；

步骤C2中，第二条分支网络采用Fusion模块对红枣图形的特征信息进行提取，此分支包含1个卷积核为3*3的卷积层、8个Fusion模块、2个最大池化层、若干BN批规范操作层、若干PRelu激活函数和concat层；其中Fusion模块主要由3个卷积层、3个PRelu激活、3个BN层和1个Concat层组成；卷积层为squeeze1*1、expand1*1和expand3*3；通过将Fusion模块中卷积层squeeze1*1的输出与卷积层expand1*1和expand3*3的输出特征图进行融合，将Fusion模块之间的输出特征图进行融合，增加了特征图流动的分支数目和融合次数。

2.根据权利要求1所述的基于双分支深度融合卷积神经网络的红枣品质多分类方法，其特征在于，步骤B中，首先将图像进行二值化处理，以突显出感兴趣的目标的轮廓；选取252作为二值化处理的阈值；然后检索二值图像的最小外接矩形轮廓，查找正方形轮廓的边界点作为ROI区域边界点，从而提取图像的ROI区域，然后将红枣图像数据归一化为相同尺寸227*227。