[发明专利]一种基于语音图像双模态果蔬农产品智能识别装置

摘要

本发明公布了一种基于语音图像双模态果蔬农产品智能识别装置。首先，采用图像采集装置获取果蔬图像，对果蔬图像预处理，采用Alexnet网络提取果蔬图像特征，采用RGB颜色直方图算法提取颜色特征，采用局部方向纹理模式（LDTP）提取图像方向和纹理信息；其次，采用语音数据采集装置录制2S语音，录制期间操作员说出果蔬名称，对语音进行预处理，提取语音梅尔频率倒谱系数（MFCC）、线性预测倒谱系数（LPCC）特征；再次，采用自编码网络对语音特征和图像特征进行降维、融合，采用SVM分类器对融合后特征进行分类，实现果蔬农产品识别，该发明提出了一种基于语音和图像双模态果蔬识别方法，可以用于果蔬识别秤中，进一步提升果蔬识别准确度。

主权项

1.本发明公布了一种基于语音图像双模态果蔬农产品智能识别装置，其特征在于，该装置包括以下几个部分：语音数据采集装置、图像数据采集装置、识别装置，且其操作如下：（1） 图像采集装置拍摄果蔬彩色图片，语音采集装置录制2s操作人员语音，在录制期间，操作人员说出该果蔬名称，并将不同种类果蔬标上不同的数字标签（label）；（2）对采集到的果蔬图像进行预处理，将图片剪切成N*N*3大小，改变尺度将其变为227*227*3大小图片，带标签227*227*3果蔬图片输入Alexnet网络中，并采用标签数据对Alexnet网络进行微调，得到用于提取特征的Alexnet网络，将Alexnet网络的输出结果作为提取到的特征；（3）提取步骤（2）中227*227*3果蔬图片R、G、B颜色通道的直方图，并将3个直方图组合在一起构成RGB颜色直方图特征，将彩色RGB果蔬图片转为灰度图片，采用局部方向纹理模式（Local Directional Triple Pattern，LDTP）[1]提取图像方向和纹理信息特征，将步骤（2）的Alexnet网络特征和RGB直方图特征、LDTP特征组合在一起，构成图像特征；（4）对步骤（1）中语音数据进行预处理，处理方法包括：分帧、加重、端点检测，提取预处理后语音的梅尔频率倒谱系数（MFCC）、线性预测倒谱系数（LPCC）特征；（5）将步骤（2）、（3）和步骤（4）中的特征组合在一起，采用自编码网络对特征进行融合、降维；（6）重复步骤（1）采集M组果蔬图片和语音数据，并将不同种类果蔬标上不同的数字标签，构成训练集数据，采用步骤（2）、（3）、（4）、（5）对训练集数据进行处理，得到训练集特征集合，采用该集合数据对SVM分类器进行训练，得到SVM分类模型；（7）利用图像采集装置、语音采集装置获取待识别果蔬的图片和语音数据，采用步骤（2）、（3）、（4）、（5）对待识别果蔬数据进行处理，得到用于分类识别的特征，利用步骤（6）训练得到的SVM分类器对特征进行分类，最终识别果蔬种类。