[发明专利]一种在移动终端预览、拍摄模式下的数据增强方法及装置

说明书

技术领域

本发明涉及数字图像处理及增强现实技术领域，特别涉及一种在移动终端预览、拍摄模式下的数据增强方法及装置。

背景技术

增强现实（Augmented Reality，简称AR）是将真实世界信息与虚拟世界信息集成，实时地叠加到同一个画面或空间同时存在，是对虚拟现实（Virtual Reality，简称VR）技术的改进。

目前的增强现实过程存在的缺陷在于：一是，一般需要在真实世界图像中做标记，对目标本身进行修改。二是，现有的增强现实过程的检测精度与搜索精度不高，增强现实效果不好。

发明内容

本发明的目的在于提供一种在移动终端预览、拍摄模式下的数据增强方法及装置，可以不需要在场景目标中加入标记的情况下，提高数据增强的效果。

为实现以上目的，第一方面，本发明提供一种在移动终端预览、拍摄模式下的数据增强方法，该方法包括如下步骤：

S1、离线建立数据库，具体为：

S11、构建目标图像数据库，并采集网络、标准图像库以及自建图像数据库中的图像存储至目标图像数据库；

S12、构建目标信息数据库，并将目标图像数据库中的图像的标注信息存储至目标信息数据库；

S13、构建目标特征数据库，利用基于深度学习的物体检测模型对目标图像数据库中的图像进行目标检测，对检测出的目标进行特征提取并存储至目标特征数据库；

S2、对输入的真实场景图像进行在线增强数据图像；

S21、移动终端在预览或者拍摄模式下获得真实场景图像；

S22、利用所述基于深度学习的物体检测模型对输入的真实场景图像进行目标检测，得到真实场景图像中所有显著性目标，并对所有显著性目标进行特征提取；

S23、将真实场景图像中每个目标特征与目标特征数据库中目标特征进行比对，得到目标图像排序结果；

S24、根据所述目标图像排序结果，基于图像数据存取分布式文件系统及相似性检索引擎，在目标图像数据库中检索出至少一张目标图像的原始数据以及从目标信息数据库中提取与至少一张目标图像对应的目标标注信息；

S25、将检索出的至少一张目标图像的数据、与目标图像对应的目标标注信息、以及显著性物体同时叠加在该显著性物体的场景位置处，并显示叠加后的融合图像。

进一步地，上述基于深度学习的物体检测模型具体为：

针对感兴趣目标数据，设计基于深度学习的物体检测模型并利用感兴趣目标对基于深度学习的物体检测模型进行训练得到；

其中，感兴趣目标数据包括外部数据或者通过手工标注所述目标图像数据库中部分/全部目标图像中的感兴趣目标数据。

进一步地，在所述的步骤S21之前，还包括：

对所述真实场景的图像进行降噪处理，得到处理后的真实场景图像。

进一步地，上述方法还包括：

基于特征提取方法，对所述利用基于深度学习的物体检测模型检测出的目标进行特征提取。

进一步地，上述的步骤S23，具体包括：

将所述真实场景图像中目标特征与目标特征数据库中所有目标特征进行比对计算，并将计算出的相似性分数由高到低排序；

按照相似性分数的高低顺序，返回目标图像数据库中与所述用于排序的特征对应的目标图像，得到所述目标图像结果。

进一步地，所述方法还包括：

对检索结果进行分析，并根据分析结果对所述的物体检测模型进行优化。

第二方面，本发明提供了一种在移动终端预览、拍摄模式下的数据增强装置，该装置包括：移动终端和服务端；

移动终端包括场景图像获取模块以及第一收/发模块，服务端包括目标检测模块、特征提取模块、数据库模块、检索模块、提取模块、数据增强模块以及第二收/发模块，数据库模块包括目标特征数据库、目标图像数据库以及目标信息数据库；

场景图像获取模块取真实场景的图像数据，并通过第一收/发模块将真实场景的图像发送至第二收/发模块；

目标检测模块利用预先训练好的目标检测模型对第二收/发模块接收到的真实场景图像进行检测，得到真实场景图像中所有显著性目标，并将检测出的所有显著性目标发送至特征提取模块；

特征提取模块对所有显著性目标的图像区域进行特征提取，得到真实场景图像中每个显著性目标的特征；

检索模块将真实场景图像中每个目标特征与目标特征数据库中目标特征进行快速比对排序，得到目标图像排序结果；