[发明专利]一种基于视听结合的智能垃圾分类回收方法和终端

权利要求书

1.一种基于视听结合的智能垃圾分类回收处理方法，其特征在于：

1）采集不同材料垃圾的完整图像的图像数据，并建立预处理卷积神经网络和第一子分类模型，以图像数据作为第一子分类模型的输入，以垃圾种类类型作为第一子分类模型的标签对第一子分类模型进行训练；以图像数据作为预处理卷积神经网络的输入，以垃圾是单体垃圾还是混合垃圾作为预处理卷积神经网络的标签对预处理卷积神经网络进行训练；

同时采集不同材料垃圾的撞击声的声音信号，对声音信号进行预处理获得声音数据，并建立第二子分类模型，以声音数据作为第二子分类模型的输入，以垃圾种类类型作为第二子分类模型的标签进行训练；

所述的第一子分类模型采用VGG-16卷积神经网络结构，主要包括输入层、依次连接的两个第一卷积池化模块、依次连接的三个第二卷积池化模块、依次连接的两个全连接层和输出层；每个第一卷积池化模块包括依次连接的两个卷积层和一个池化层，第一个第一卷积池化模块中的两个卷积层，卷积核个数64，核大小为3×3，步幅strides为1，边界填充padding为SAME，激活函数选用ReLU函数；第二个第一卷积池化模块中的两个卷积层，卷积核个数128，核大小为3×3，步幅strides为1，边界填充padding为SAME，激活函数选用ReLU函数；每个第二卷积池化模块包括依次连接的三个卷积层和一个池化层，第一个第二卷积池化模块中的三个卷积层，卷积核个数256，核大小为3×3，步幅strides为1，边界填充padding为SAME，激活函数选用ReLU函数；第二个第二卷积池化模块和第三个第二卷积池化模块中的三个卷积层，卷积核个数512，核大小为3×3，步幅strides为1，边界填充padding为SAME，激活函数选用ReLU函数；从输入层到输出层顺序的五个卷积池化模块中的五个池化层均为最大池化层，卷积核个数分别为64、128、256、512和512，核大小为3×3，步幅strides为2；两个全连接层均含有4096个神经元，输出层使用softmax函数进行分类；

所述的第二子分类模型采用一维卷积神经网络，主要包括输入层、依次连接的五个第三卷积池化模块、两个全连接层和输出层，每个第三卷积池化模块包括顺次连接的一个卷积层和一个池化层，从输入层到输出层顺序的五个第三卷积池化模块中的五个卷积层，卷积核个数分别为8、16、24、32和40，核大小为9×9，步幅strides为1，边界填充padding为SAME，激活函数选用ReLU函数；从输入层到输出层顺序的五个第三卷积池化模块中的五个池化层为最大池化层，卷积核个数分别为8、16、24、32和40，核大小为9×9，步幅strides为2；第二子分类模型的全连接层含有1024个神经元，第二子分类模型的输出层使用softmax函数进行分类；

2）针对待分类垃圾，在获得待分类垃圾的图像数据后，先输入到预处理卷积神经网络进行判断获得为单体垃圾还是混合垃圾：

若为混合垃圾，则将该垃圾移动到固定位置，使得后续进行重拾分拣处理；

若为单体垃圾，则通过图像或声音信号进一步判断垃圾类型；

3）在获得待分类垃圾的图像和声音数据后，分别输入到第一子分类模型和第二子分类模型进行判断获得两个模型的垃圾类型结果，根据第一子分类模型和第二子分类模型不同的权重综合获得最终的垃圾类型结果。

2.根据权利要求1所述的一种基于视听结合的智能垃圾分类回收处理方法，其特征在于：所述的预处理卷积神经网络与第一子分类模型结构相同。

3.应用于权利要求1所述方法的一种基于视听结合的智能垃圾分类回收终端，其特征在于：所述的智能垃圾分类回收终端包括垃圾箱本体（1），垃圾箱本体（1）上部设有垃圾投递口（4），垃圾投递口（4）上方设有用于检测物体的自动感应器（5），垃圾箱本体（1）中部内安装有分类机构（3），垃圾箱本体（1）底部内安装有多个垃圾储存箱（2），垃圾箱本体（1）上部内安装有控制显示器（6），控制显示器（6）分别和分类机构（3）、垃圾储存箱（2）、自动感应器（5）连接。