[发明专利]用于提供增强现实的方法以及便携式终端

说明书

技术领域

本公开涉及增强现实（AR）。更具体地讲，本公开涉及一种用于在三维（3D）空间中通过相机同时识别各种被摄体，并实时跟踪识别的被摄体的3D相机位姿跟踪方法。

背景技术

增强现实（AR）是将由用户看到的真实世界与包括附加信息的虚拟世界合成并显示一个合成图像的虚拟现实。利用虚拟世界补充真实世界的AR使用通过计算机图形学创建的虚拟环境。计算机图形学附加地提供真实环境所必需的信息。AR技术通过将3D虚拟图像与由用户看到的真实图像重叠来将真实环境和虚拟屏幕显示为一个屏幕，从而允许获得关于真实环境的附加信息。

一般而言，为了基于通过相机输入的图像来识别对象，使用与对象的类型相应的识别算法来识别在图像中的对象，并且使用跟踪算法来跟踪对象的3D运动。跟踪对象的3D运动作为用于AR技术的重要且基本的技术，从数学上指定真实相机查看真实对象的方向以允许虚拟内容的匹配。在没有精确3D跟踪的情况下，虚拟内容无法被精确匹配，使用户难以应对并因此丧失作为AR的价值。

根据现有技术的AR提供方法，一个识别引擎仅识别特定对象（面部、字符等），每个识别引擎具有其独立的识别和跟踪算法。

此外，在现有技术的AR提供方法中，针对附加对象的识别需要开发识别算法和跟踪算法二者，并且针对附加对象的附加识别引擎不得不并列地连接到现有识别引擎。另外，虽然一些对象（诸如字符）可被识别，但是难以跟踪。因此，需要一种用于在3D空间中通过相机同时识别各种被摄体并实时跟踪识别的被摄体的改进的设备和方法。

以上信息仅被提供为背景信息，用于帮助理解本公开。关于任何上述内容是否可用作对于本公开的现有技术，尚未确定且没有断言。

发明内容

本公开的各方面在于至少解决上述问题和/或缺点，并至少提供下述优点。

本公开的另一方面在于提供一种用于提高开发的效率的方法，其中，对象识别引擎分别具有插入式结构，以按照手动方式或自动方式有组织地运行，并且，利用三维（3D）场景跟踪来一般化对象的跟踪，使得针对添加的对象仅需要开发识别算法。

通过下述各种实施例，可理解将在本公开中提供的其它目的。

根据本公开的一方面，提供一种用于提供增强现实（AR）的方法。所述方法包括：获得图像；根据被摄体的类型顺序地设置图像的候选区域；从候选区域检测被摄体中的至少一个；通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；向用户显示合成图像。

根据本公开的另一方面，提供一种用于提供AR的便携式终端。所述便携式终端包括：相机模块，被配置为用于输出图像；控制器，被配置为用于根据被摄体的类型顺序地设置图像的候选区域，从候选区域检测被摄体中的至少一个，通过将虚拟对象映射到与在图像中检测到的被摄体的位置相应的位置来创建合成图像；显示单元，被配置为用于向用户显示合成图像。

从以下结合附图公开本公开的各种实施例的详细描述中，本公开的其它方面、优点和突出特征将对本领域普通技术人员而言变得清楚。

附图说明

从以下结合附图的详细描述中，本公开的特定实施例的以上和其它方面、特征和优点将会更清楚，其中：

图1是根据本公开的实施例的便携式终端的示意性框图；

图2是根据本公开的实施例的便携式终端的前透视图；

图3是根据本公开的实施例的便携式终端的后透视图；

图4示出根据本公开的实施例的用于提供增强现实（AR）的便携式终端的主要组件；

图5示出根据本公开的实施例的识别引擎；

图6是根据本公开的实施例的用于提供AR的方法的流程图；

图7是根据本公开的实施例的用于粗略识别的方法的流程图；

图8A、图8B、图9A和图9B是根据本公开的实施例的用于描述粗略识别和精细识别的示图；

图10是根据本公开的实施例的用于跟踪的方法的流程图；

图11A和图11B是根据本公开的实施例的用于描述全局相机位姿的示图；

图12A、图12B、图13A和图13B是根据本公开的实施例的用于描述用于估计全局相机位姿和局部场景位姿的方法的示图；

图14A、图14B、图15A和图15B是根据本公开的实施例的用于描述使用跟踪信息的图像合成的示图。

贯穿附图，同样的附图标号将被理解为指示同样的部分、组件和结构。

具体实施方式