[发明专利]一种基于AR眼镜的书画关联比对分析方法与系统

权利要求书

1.一种基于AR眼镜的书画关联比对分析系统，其特征在于：包括印章检测模块、印章检索模块和用户交互模块，所述印章检测模块包括书画作品图像模块，所述书画作品图像模块连接有书画作品数据集模块，所述书画作品数据集模块连接有印章检测模块模块，所述印章检索模块包括印章图像模块，所述印章图像模块连接有印章图像预处理与校正模块，所述印章图像预处理与校正模块连接有检索模型模块，所述用户交互模块包括输入图像模块，所述输入图像模块和印章检测模型模块连接有检测结果模块，所述检测结果模块连接有输入印章图像模块，所述输入印章图像模块与所述印章图像预处理与校正模块的输入端连接，所述用户交互模块还设有检索结果模块，所述检索模型模块与所述检索结果模块的输入端连接。

2.根据权利要求1所述的一种基于AR眼镜的书画关联比对分析系统，其特征在于，所述用户交互模块通过手机APP进行信息交互。

3.根据权利要求1所述的一种基于AR眼镜的书画关联比对分析系统，其特征在于，所述印章检测模块和印章检索模块集成在服务器中，所述服务器通过互联网与用户交互模块无线连接，并且所述用户交互模块为智能手机或平板电脑，通过用户交互模块连接有AR眼镜。

4.一种基于AR眼镜的书画关联比对分析方法，其特征在于，具体按以下步骤执行：

S₁：首先使用网络上搜集多张书画作品清晰正面图像，存储到印章检测模块中的书画作品数据集模块中，使用Labelme工具，对书画作品图像中的印章进矩形标注，用印章左上角和右下角两个点的坐标描述该印章在原书画作品中的位置，保存结果用于训练，并收敛得到印章检测模型；

S₂：通过印章检测模块，通过目标检测算法Yolov4从书画作品图像中自动化地检测印章并框出；

S₃：通过提取该输入印章的特征并将其与印章数据库中的印章特征进行比对，检索得到印章数据库中与原输入印章图像最相似的印章。

5.根据权利要求4所述的一种基于AR眼镜的书画关联比对分析方法，其特征在于，印章检索模块中的检索模型模块采用VGGNet作为检索部分的网络主干，并采用Siamese网络实现印章相似度的度量。

6.根据权利要求4所述的一种基于AR眼镜的书画关联比对分析方法，其特征在于，在步骤S₁中，在训练过程中，

S_1.1：首先将收集到的书画作品清晰正面图像旋转30°，并计算得到旋转后每个印章左上角和右下角顶点的坐标，原正面图像的宽标注w，高为h，原正面图像中的印章左上角顶点的坐标为(x_min,y_min)，右下角顶点的坐标为(x_max,y_max)，旋转30°后得到的印章左上角顶点坐标如式(1)所示：

右下角顶点坐标如式(2)所示；

S_1.2：使标注的边界框包含整个印章图像，x轴的偏移量如式(3)；

y轴的偏移量如式(4)；

旋转后标注的边界框左上角顶点坐标如式(5)；

而边界框右下角顶点坐标如式(6)；

7.根据权利要求6所述的一种基于AR眼镜的书画关联比对分析方法，其特征在于，在步骤S_1.1中，在训练前，采集印章的前景和背景，提取印章作为前景，并使用裁剪得到的书画作品图像作为背景对每一类印章样本进行扩充。

8.根据权利要求4所述的一种基于AR眼镜的书画关联比对分析方法，其特征在于，在步骤S₃中，利用VGG16的卷积层和第一个全连接层结构，提取印章的16维特征f_i,f_j∈R¹⁶来代表一个印章的特征，并通过对不同印章的16维特征向量的夹角余弦的大小来表征不同印章的相似度。