[发明专利]书本管理方法

权利要求书

1.一种书本管理方法，其特征在于，包括以下步骤：

获取关键词文本和目标书本的待处理图像，所述待处理图像为所述书本中的内容图像；

通过训练好的图像特征提取模型对所述待处理图像进行图像特征提取，得到所述待处理图像的图像特征；

将所述图像特征输入到训练好的语义模型中进行语义提取，得到所述待处理图像的语义特征，所述语义模型通过所述关键词文本进行参数修正得到；

基于所述语义特征，通过基于自注意力机制的解码器对所述图像特征进行解码，得到所述目标书本的语义描述文本；

通过所述语义描述文本对所述目标书本进行管理。

2.如权利要求1所述的方法，其特征在于，所述获取关键词文本，包括：

获取不同书本类型的书本封面图和书本目录图；

对所述书本封面和书本目录进行文字识别，得到文字识别结果；

从所述文字识别结果提取出候选关键词，根据所述候选关键词生成所述关键词文本。

3.如权利要求2所述的方法，其特征在于，所述获取关键词文本目标书本的待处理图像，包括：

对书本中随机页数的内容进行拍摄，得到所述待处理图像。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练，得到训练好的图像特征提取模型和训练好的语义模型。

5.如权利要求4所述的方法，其特征在于，在所述通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练之前，包括：

获取不同书本类型的样本书本；

对所述样本书本中随机页数的内容进行拍摄，得到所述样本图像，对所述样本图像进行语义描述，得到与所述样本图像对应的语义文本；

根据所述样本图像以及对应的所述语义文本，构建得到数据集。

6.如权利要求5所述的方法，其特征在于，所述通过预设的数据集对所述图像特征提取模型和语义模型进行联合训练，包括：

将所述数据集划分为训练集和测试集，并将所述图像特征提取模型与语义模型进行级联，得到级联模型；

通过所述训练集对所述级联模型者训练，直到所述级联模型在测试集中收敛，得到训练好的级联模型，所述训练好的级联模型包括训练好的图像特征提取模型和训练好的语义模型。

7.如权利要求6所述的方法，其特征在于，在通过所述训练集对所述级联模型者训练，直到所述级联模型在测试集中收敛，得到训练好的级联模型之后，所述方法还包括，包括：

通过预设的词嵌入模型对所述关键词文本进行词嵌入，得到所述关键词文本的词嵌入向量；

根据所述词嵌入向量对所述训练好的语义模型进行修正。

8.一种书本管理装置，其特征在于，所述装置包括：

第一获取模块，用于获取关键词文本和目标书本的待处理图像，所述待处理图像为所述书本中的内容图像；

第一提取模块，用于通过训练好的图像特征提取模型对所述待处理图像进行图像特征提取，得到所述待处理图像的图像特征；

第二处理模块，用于将所述图像特征输入到训练好的语义模型中进行语义提取，得到所述待处理图像的语义特征，所述语义模型通过所述关键词文本进行参数修正得到；

解码模块，用于基于所述语义特征，通过基于自注意力机制的解码器对所述图像特征进行解码，得到所述目标书本的语义描述文本；

管理模块，用于通过所述语义描述文本对所述目标书本进行管理。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的书本管理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的书本管理方法中的步骤。