[发明专利]一种冷藏装置存储物管理系统和冷藏装置

权利要求书

1.一种冷藏装置存储物管理系统，其特征在于，包括：

视频输入模块，用于输入冷藏装置入口处的视频集；

3D卷积神经网络，所述3D卷积神经网络通过3D卷积核提取所述冷藏装置入口处的视频集中的时间特征和空间特征，所述时间特征用于识别动作是放入目标存储物或取出目标存储物，所述空间特征用于识别目标存储物的种类和数量；

其中，所述3D卷积神经网络包括最优化网络模型，所述最优化网络模型的生成包括：

训练模块，所述训练模块配置为建立目标存储物的静态图片的数据库，其中所述静态图片包括多个目标存储物的互相遮挡及区分各个部位的图像；

识别模块，所述识别模块配置为使卷积神经网络学习识别输入图像中是否有目标存储物以及目标存储物的种类，训练并得到所述识别模块优化的卷积神经网络；

验证模块，所述验证模块配置为将验证图像数据库中的图像输入至所述识别模块优化的卷积神经网络使所述识别模块优化的卷积神经网络识别所述验证图像数据库输入的验证图像中是否有目标存储物以及目标存储物的种类并输出结果，根据输出结果进行再次调整，得到所述验证模块优化的卷积神经网络；和

测试模块，所述测试模块对所述验证模块优化的卷积神经网络进行测试，将采集到的冷藏设备入口处和冷藏设备中的视频处理为单独帧并作为测试图像分帧输入至所述验证模块优化的卷积神经网络中进行识别，确定是否有目标存储物以及目标存储物的种类，输出识别结果，并根据识别结果再次优化所述验证模块优化的卷积神经网络，得到所述最优化网络模型。

2.根据权利要求1所述的冷藏装置存储物管理系统，其特征在于，所述视频输入模块还用于输入冷藏装置内的静态图像；所述存储物管理系统还包括：

第一估算模块，用于根据冷藏装置入口视频集和3D卷积神经网络的输出估算存入或取出目标存储物的轮廓面积；

第二估算模块，用于根据静态图像再次估算目标存储物轮廓面积，

校准模块，用于根据第一估算模块和第二估算模块的输出比较确定存储物数量；

当所述3D卷积神经网络输出结果确定有目标存储物存入或取出时，第一估算模块用于先根据所述冷藏装置入口处的视频集估算目标存储物轮廓面积并作为标准值；第二估算模块用于再根据所述冷藏装置内的静态图像再次估算目标存储物轮廓面积作为测试值；所述校准模块用于将测试值与标准值进行比较，确定存储物数量。

3.根据权利要求2所述的冷藏装置存储物管理系统，其特征在于，还包括统计模块，所述统计模块用于在所述测试值和标准值相等时，记录目标存储物的种类，增加或减少目标存储物的数量。

4.根据权利要求1至3任一项所述的冷藏装置存储物管理系统，其特征在于，所述3D卷积神经网络包括：

原始处理层，用于堆叠所述视频集中的多个连续的原始帧组成卷积立方体；

特征提取层，用于提取所述原始帧的多个通道信息；

时空卷积层，用于利用3D卷积核对每一个通道分别进行卷积；

特征采样层，用于对时空卷积层的输出进行池化；

分类器，用于根据所述特征采样层的输出结果学习分类，确定是否有目标存储物存入冷藏设备或从冷藏设备中取出。

5.根据权利要求4所述的冷藏装置存储物管理系统，其特征在于，所述通道信息包括灰度、X方向梯度、Y方向梯度、X方向光流和Y方向光流。

6.根据权利要求5所述的冷藏装置存储物管理系统，其特征在于，所述3D卷积神经网络包括多个时空卷积层和特征采样层，每一个所述时空卷积层的输出结果均通过一个独立的特征采样层池化。

7.根据权利要求6所述的冷藏装置存储物管理系统，其特征在于，多个时空卷积层的3D卷积核的尺寸为3*3*3，其中第一个特征采样层中的池化窗口的尺寸为1*2*2，其余特征采样层中的池化窗口的尺寸为2*2*2。

8.根据权利要求6所述的冷藏装置存储物管理系统，其特征在于，所述分类器包括全连接层和softmax分类器。