[发明专利]一种基于卷积神经网络的虚拟物显示方法及装置

权利要求书

1.一种基于卷积神经网络的虚拟物显示方法，其特征在于，包括：

获取摄像机当前时刻所拍摄的每帧画面；

针对每帧画面中的任一帧画面，将该帧画面与目标画面输入预先建立的卷积神经网络模型，输出该帧画面与目标画面的四个顶点坐标之间的偏差，所述目标画面指的是指定位置所对应的画面；所述卷积神经网络模型是根据至少一对存在单应性对应关系的矩形图像训练得到的；

当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则确定摄像机的当前时刻的影像到达指定的位置，则在屏幕上显示虚拟物；

当每帧画面与目标画面的四个顶点坐标之间的偏差不小于阈值，则确定当摄像机的当前时刻的影像没有到达指定的位置，则继续移动摄像机，直到摄像机当前时刻的影像与目标画面的四个顶点坐标之间的偏差小于阈值；

当每帧画面与目标画面的四个顶点坐标之间的偏差小于阈值，则显示虚拟物，具体包括：

当每帧画面与目标画面的四个顶点坐标之间的偏差满足误差公式，则显示虚拟物，其中，m指的是当前时刻所获取的帧画面的数量，，T为预设的第一阈值，S为预设的第二阈值，为每帧画面与目标画面的四个顶点坐标之间的偏差。

2.如权利要求1所述的方法，其特征在于，在将该帧画面与目标画面输入预先建立的卷积神经网络模型之前，所述方法还包括：

制作训练图像集，其中，所述训练图像集包括至少一对存在单应性对应关系的矩形图像；

初始化待训练的卷积神经网络模型内的各权重参数；

将所述至少一对存在单应性对应关系的矩形图像输入待训练的卷积神经网络模型；

根据待训练的卷积神经网络模型输出的所述至少一对存在单应性对应关系的矩形图像的顶点坐标的偏差以及所述至少一对存在单应性对应关系的矩形图像的顶点坐标训练所述待训练的卷积神经网络模型内的各权重参数，得到卷积神经网络模型。

3.如权利要求2所述的方法，其特征在于，所述至少一对存在单应性对应关系的矩形图像均为灰度图像，和/或所述至少一对存在单应性对应关系的矩形图像包括图像的中心点且尺寸相同。

4.如权利要求2所述的方法，其特征在于，该方法包括：对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度、模糊度、噪声和子图像位置中的至少一者进行扰动。

5.如权利要求1-4任意一项所述的方法，其特征在于，所述卷积神经网络模型内的最后一个池化层的核大小为4x4，卷积层的卷积核的通道数为64。

6.如权利要求2所述的方法，其特征在于，所述训练所述待训练的卷积神经网络模型内的各权重参数包括：

按照随机梯度下降法将所述训练图像集中的存在单应性对应关系的矩形图像输入所述待训练的卷积神经网络模型；

根据待训练的卷积神经网络模型输出的所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的偏差，以及所述训练图像集中的存在单应性对应关系的矩形图像的顶点坐标的顶点坐标之间的差值，构建损失函数，直至损失函数符合预先设定的模型精度值。

7.如权利要求4所述的方法，其特征在于，

对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的亮度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数r，根据所生成的随机数r，通过公式确定该幅矩形图像中每个像素点的新灰度值，其中，表示新灰度值，表示原始灰度值，r表示随机数；

对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的模糊度进行扰动的方式为：针对待扰动的一幅矩形图像，生成随机数a，以随机数a为模糊半径，对该幅矩形图像进行高斯模糊；

对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的噪声进行扰动的方式为：针对待扰动的一幅矩形图像，生成密度随机数以及强度随机数，根据密度随机数以及强度随机数，在该幅矩形图像内生成椒盐噪声；

对所述至少一对存在单应性对应关系的矩形图像中的一幅矩形图像的子图像位置进行扰动的方式为：针对待扰动的一幅矩形图像，在该幅图像内随机选择两个不同位置且相同尺寸的子图像，交换两个子图像内的所有像素。