[发明专利]多模态AR处理方法、装置、设备和可读存储介质

说明书

本发明提供一种多模态AR处理方法、装置、设备和可读存储介质，通过根据用户请求信息，获取视频帧图像和AR任务属性；根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理，从而可根据应用需求选择对应的处理模型组合，以提供适应多种场景下的多模态AR处理，且处理模型组合中各模型之间数据共享，降低了重复计算，提高了AR处理的处理效率和灵活性。

技术领域

本发明涉及信号处理技术，尤其涉及一种多模态AR处理方法、装置、设备和可读存储介质。

背景技术

增强现实(Augmented Reality，简称：AR)是一种将真实场景同虚拟信息融合的技术，它的目的是通过计算机图形、图像处理技术实现实景(显示环境或用户影像)与虚景(计算机生成的虚拟环境或虚拟物体)的合成。随着AR技术的发展和用户需求的增加，已对各种AR应用场景发展出越来越多的AR算法，例如并发建图与定位(simultaneous localizationand mapping，简称：SLAM)、2D跟踪和3D跟踪等。如何在复杂多变的应用环境下实现实时可靠的AR处理，一直是AR技术的目标之一。

现有的AR处理方法，通常在同一个应用程序中集成多种AR功能模块，各AR功能模块之间相互独立运行以而提供不同的AR功能。例如，一个AR应用程序中包括SLAM模块、2D跟踪模块和3D跟踪模块，假如需要对手机拍摄环境中的平面图案跟踪，则仅调用2D跟踪模块；假如需要不仅要对手机拍摄环境中的平面图案跟踪，还要定位手机在拍摄环境中的位置，则需要调用SLAM模块和2D跟踪模块这两个模块。

然而，不同的AR功能模块均是作为独立的算法被整体进行调用，存在重复、冗余的计算量。可见，现有的AR处理方法的处理效率和灵活性不够高。

发明内容

本发明实施例提供一种多模态AR处理方法、装置、设备和可读存储介质，提高了AR处理的效率和灵活性。

本发明实施例的第一方面，提供一种多模态AR处理方法，包括：

根据用户请求信息，获取视频帧图像和AR任务属性；

根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；

在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。

本发明实施例的第二方面，提供一种多模态AR处理装置，包括：

获取模块，用于根据用户请求信息，获取视频帧图像和AR任务属性；

组合模块，用于根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；

处理模块，用于在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理。

本发明实施例的第三方面，提供一种终端，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。

本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述多模态AR处理方法。