[发明专利]一种基于深度学习的图书定位和识别方法

说明书

本发明公开了一种基于深度学习的图书定位和识别方法，一种基于深度学习的图书定位和识别方法，包括以下步骤：步骤1、获取书架图像；步骤2、识别书架图像中每个图书的位置信息；步骤3、提取每个图书的特征信息；根据图书特征信息，搜索出图书特征信息对应的图书信息。本发明使用图像识别技术实现对图书的盘点。

技术领域

本发明属于图像识别技术领域，尤其涉及一种基于深度学习的图书定位和识别方法。

背景技术

图书在书架上的定位和检索在图书馆信息管理系统中起着重要的作用。为了能够精确的定位图书的位置和相关信息，方便图书馆的盘点，传统上一般采用RFID标签的方法(如专利208172824U)来对图书进行识别。虽然RFID极大的减少了工作人员盘点的工作量，但是其具有很多缺点，首先在于RFID标签的成本过高，因为每本图书需要配备一个RFID标签，贴标签和输入信息需要花费大量的时间，其次是标签之间容易互相干扰，所以存在定位不准确和识别率不高的问题。为了解决这个问题，有效的降低图书盘点的成本和工作量，本发明中引入了深度学习和人工智能的方法，来有效的解决RFID既有的缺陷。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度学习的图书定位和识别方法，使用图像识别技术实现对图书的盘点。

为解决上述技术问题，本发明采用的技术方案是：一种基于深度学习的图书定位和识别方法，包括以下步骤：

步骤1、获取书架图像；

步骤2、识别书架图像中每个图书的位置信息；

步骤3、提取每个图书的特征信息；根据图书特征信息，搜索出图书特征信息对应的图书信息。

进一步地，所述步骤2，包括以下步骤：

调取预训练好的Mask R-CNN深度学习模型；所述Mask R-CNN深度学习模型为预先经过以下操作后的模型：修改所述Mask R-CNN深度学习模型最后一层的全连接层或1x1的卷积层，使Mask R-CNN深度学习模型的输出为单种物体的坐标和概率；

使用调取的Mask R-CNN深度学习模型识别书架图像中每个图书书脊的图像的位置信息。

进一步地，所述预训练好的Mask R-CNN深度学习模型，训练时包括以下步骤：

调取已经过修改的Mask R-CNN深度学习模型；

调取合成的训练数据，所述训练数据为书架图像，该书架图像中的每个图书书脊的图像均标记有坐标信息，每个所述书脊的形状对应一个直方图；

使用所述训练数据对调取的Mask R-CNN深度学习模型进行训练。

进一步地，所述Mask R-CNN深度学习模型在训练时，当所述Mask R-CNN深度学习模型输出多个候选框时，将多个所述候选框中范围超出任一书脊的形状对应的直方图范围的候选框剔除。

进一步地，所述步骤3提取每个图书特征信息，包括以下步骤：

调取ResNet50深度学习模型；

将图书书脊的图像输入ResNet50深度学习模型，取ResNet50深度学习模型计算得到的全连接层前面最后一层的向量输出，输出的特征向量为图书特征信息。

进一步地，所述ResNet50深度学习模型的向量输出为经过池化运算后的向量输出。

进一步地，所述步骤4根据图书特征信息，识别出图书对应的图书信息，包括以下步骤：

使用Siamese网络在预置数据库中搜索与识别出的图书特征信息相似度大于阈值的特征信息；