[发明专利]书本管理方法

说明书

本发明实施例提供一种书本管理方法，包括：获取关键词文本和目标书本的待处理图像；通过训练好的图像特征提取模型对待处理图像进行图像特征提取，得到待处理图像的图像特征；将图像特征输入到训练好的语义模型中进行语义提取，得到待处理图像的语义特征；基于语义特征，通过基于自注意力机制的解码器对图像特征进行解码，得到目标书本的语义描述文本；通过语义描述文本对目标书本进行管理。可以对书本中的内容图像进行图像特征提取，再将图像特征进行解码，在解码过程中，通过图像特征提取到的语义特征对图像特征的解码进行辅助，使得解码得到的结果更准确，通过语义描述文本对目标书本进行分类管理，可以提高书本的分类准确度。

技术领域

本发明涉及智慧校园和图书管理领域，尤其涉及一种书本管理方法及相关设备。

背景技术

在书本管理中，需要事先对书本进行分类、编号，对书本进行分类主要是基于关键词标签进行的，关键词标签可以领域标签、用途标签、类型标签，然而，基于标签对书本进行管理，可能会因为标签内容与书本实际内容不符而造成错误分类，从而增加书本管理的难度。因此，基于标签对书本进行管理，标签与书本真实内容存在匹配度不高的问题。

发明内容

本发明实施例提供一种书本管理方法及相关设备，可以对书本中的内容图像进行图像特征提取，再将图像特征进行解码，得到书本中的内容图像的语义描述文本，在解码过程中，通过图像特征提取到的语义特征对图像特征的解码进行辅助，使得解码得到的结果更准确，同时，用于提取语义特征的语义模型通过关键词文本进行参数修正，使得到解码出的结果更接近于关键词的表达形式，通过语义描述文本对目标书本进行分类管理，可以提高书本的分类准确度。

第一方面，本发明实施例提供一种书本管理方法，所述方法包括：

获取关键词文本和目标书本的待处理图像，所述待处理图像为所述书本中的内容图像；

通过训练好的图像特征提取模型对所述待处理图像进行图像特征提取，得到所述待处理图像的图像特征；

将所述图像特征输入到训练好的语义模型中进行语义提取，得到所述待处理图像的语义特征，所述语义模型通过所述关键词文本进行参数修正得到；

基于所述语义特征，通过基于自注意力机制的解码器对所述图像特征进行解码，得到所述目标书本的语义描述文本；

通过所述语义描述文本对所述目标书本进行管理。

可选的，所述获取关键词文本，包括：

获取不同书本类型的书本封面图和书本目录图；

对所述书本封面和书本目录进行文字识别，得到文字识别结果；

从所述文字识别结果提取出候选关键词，根据所述候选关键词生成所述关键词文本。

可选的，所述获取关键词文本目标书本的待处理图像，包括：

对书本中随机页数的内容进行拍摄，得到所述待处理图像。

可选的，所述方法还包括：

通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练，得到训练好的图像特征提取模型和训练好的语义模型。

可选的，在所述通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练之前，包括：

获取不同书本类型的样本书本；

对所述样本书本中随机页数的内容进行拍摄，得到所述样本图像，对所述样本图像进行语义描述，得到与所述样本图像对应的语义文本；

根据所述样本图像以及对应的所述语义文本，构建得到数据集。

可选的，所述通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练，包括：