[发明专利]一种实现增强现实的方法及设备

权利要求书

1.一种实现增强现实的方法，其特征在于，包括：

实时采集包含人脸图像的环境场景图像；

通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；

利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；

通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；

利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；

根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。

2.如权利要求1所述的方法，其特征在于，所述利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态，具体包括：

利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；

根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。

3.如权利要求1所述的方法，其特征在于，所述根据人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中，具体包括：

根据人脸在世界坐标系中的姿态，将所述虚拟信息叠加到当前帧环境场景图像中显示的人脸所对应的位置上。

4.如权利要求1所述的方法，其特征在于，所述通过人脸识别算法对当前帧环境场景图像进行人脸识别，具体包括：

按照预设频率通过人脸识别算法对当前帧环境场景图像进行人脸识别。

5.如权利要求1所述的方法，其特征在于，在根据人脸在所述世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中之后，所述方法还包括：

利用当前帧环境场景图像中人脸在世界坐标系中的姿态对后续帧环境场景图像中的人脸在世界坐标系中的姿态进行跟踪；

利用跟踪得到的所述后续帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在所述后续帧环境场景图像中。

6.一种实现增强现实设备，其特征在于，包括：

图像采集单元，用于实时采集包含人脸图像的环境场景图像；

人脸识别单元，用于通过人脸识别算法对当前帧环境场景图像进行人脸识别，根据人脸识别结果在预设的人脸数据库中查找与所述人脸识别结果对应的虚拟信息；

脸部对齐单元，用于利用预先建立的面部3D模型对所述人脸识别结果对应的人脸图像区域进行脸部对齐处理，得到所述人脸图像区域的人脸特征点集合，所述人脸特征点集合包括一组在所述图像区域的特征点的二维坐标和一组对应在所述脸部3D模型中的特征点的三维坐标；

图像配准单元，用于通过Slam算法对多帧环境场景图像进行图像配准，计算出当前帧环境场景图像的姿态和三维场景；

姿态计算单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出当前帧环境场景图像中人脸在世界坐标系中的姿态；

叠加显示单元，用于根据当前帧环境场景图像中人脸在世界坐标系中的姿态，将所述虚拟信息显示在当前帧环境场景图像中。

7.如权利要求6所述的设备，其特征在于，所述姿态计算单元，包括：

三维坐标计算子单元，用于利用当前帧环境场景图像的姿态、三维场景和所述人脸特征点集合，计算出所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标；

姿态计算子单元，用于根据所述人脸特征点集合中每个特征点在世界坐标系中的三维坐标，计算出人脸在世界坐标系中的姿态。