[发明专利]增强现实方法及装置

权利要求书

1.一种增强现实方法，其特征在于，应用于具备摄像装置的电子设备，所述方法包括：

获取所述摄像装置采集的原始图像；

将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；

基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标，所述前景图像坐标为所述分割结果图中前景图像区域的图像坐标；

利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，具有深度逻辑信息的场景贴图去掉了所述场景贴图中与所述前景图像区域对应的贴图图像区域，以使具有深度逻辑信息的场景贴图只对原始图像的背景图像区域进行局部遮挡；

将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

2.如权利要求1所述的方法，其特征在于，所述利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图的步骤，包括：

依据所述原始图像，获取所述摄像装置的透视信息；

根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标；

依据所述贴图区域坐标，将所述前景图像坐标和所述场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。

3.如权利要求2所述的方法，其特征在于，所述依据所述原始图像，获取所述摄像装置的透视信息的步骤，包括：

对所述原始图像进行特征点提取，得到所述原始图像的特征点；

确定出所述特征点对应的世界坐标和图像坐标；

依据所述特征点对应的世界坐标和图像坐标，计算出所述摄像装置的内参数矩阵和外参数矩阵，其中，所述摄像装置的透视信息包括内参数矩阵和外参数矩阵。

4.如权利要求2所述的方法，其特征在于，所述根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标的步骤，包括：

获取所述场景贴图的图像坐标，其中，所述场景贴图的图像坐标包含该场景贴图与所述原始图像中场景之间的逻辑关系；

依据所述摄像装置的透视信息，对所述场景贴图的图像坐标进行坐标变换，确定出所述场景贴图所在的贴图区域坐标。

5.如权利要求1所述的方法，其特征在于，所述将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图的步骤，包括：

将所述原始图像输入预先训练好的语义分割网络，通过所述语义分割网络对所述原始图像进行语义分割，得到初步分割结果；

利用所述语义分割网络对所述初步分割结果进行分类，得到包含深度逻辑关系的分割结果图。

6.一种增强现实装置，其特征在于，应用于具备摄像装置的电子设备，所述装置包括：

原始图像获取模块，用于获取所述摄像装置采集的原始图像；

语义分割模块，用于将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；

前景图像坐标确定模块，用于基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标，所述前景图像坐标为所述分割结果图中前景图像区域的图像坐标；

执行模块，用于利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，具有深度逻辑信息的场景贴图去掉了所述场景贴图中与所述前景图像区域对应的贴图图像区域，以使具有深度逻辑信息的场景贴图只对原始图像的背景图像区域进行局部遮挡；

图像合成模块，用于将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

7.如权利要求6所述的装置，其特征在于，所述执行模块具体用于：

依据所述原始图像，获取所述摄像装置的透视信息；

根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标；

依据所述贴图区域坐标，将所述前景图像坐标和所述场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。