[发明专利]多模态AR处理方法、装置、设备和可读存储介质

权利要求书

1.一种多模态AR处理方法，其特征在于，包括：

根据用户请求信息，获取视频帧图像和AR任务属性；

根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型；

在数据共享的三线程架构中以所述目标模型组合，对所述视频帧图像进行与所述AR任务属性对应的AR处理；所述三线程架构包括数据共享的跟踪线程、校正线程和地图线程；其中，所述跟踪线程用于执行所述目标模型组合的跟踪处理模型，所述校正线程用于执行所述目标模型组合的校正处理模型，所述地图线程用于执行所述目标模型组合的地图处理模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型，包括：

获取用于处理所述AR任务属性的校正方法类型、地图方法类型；

在预设的多个处理模型组合中，将与所述校正方法类型和所述地图方法类型对应的处理模型组合，作为目标模型组合。

3.根据权利要求2所述的方法，其特征在于，所述根据所述AR任务属性，在预设的多个处理模型组合中确定目标模型组合，其中，所述目标模型组合包括预设的共用跟踪处理模型和与所述任务属性相对应的校正处理模型、地图处理模型之前，还包括：

创建并存储用于处理2D类AR任务的2D校正处理模型、2D地图处理模型，其中，所述2D校正处理模型对应2D校正方法类型、所述2D地图处理模型对应2D地图方法类型；

创建并存储用于处理3D类AR任务的3D校正处理模型、3D地图处理模型，其中，所述3D校正处理模型对应3D校正方法类型、所述3D地图处理模型对应3D地图方法类型；

创建并存储用于处理融合类AR任务的融合地图处理模型，其中，所述融合地图处理模型对应2D和3D地图方法类型；

获取多个处理模型组合，其中，所述处理模型组合包括：

预设的共用跟踪处理模型，

所述2D校正处理模型和所述3D校正处理模型之一，

以及所述2D地图处理模型、所述3D地图处理模型和所述融合地图处理模型之一。

4.根据权利要求3所述的方法，其特征在于，所述任务属性包括2D类AR任务；

与所述2D类AR任务相对应的所述2D校正处理模型，包括：与基于ORB特征的平面校正方法类型相对应的2D校正处理模型，或与基于SURF特征的平面校正方法类型相对应的2D校正处理模型；

与所述2D类AR任务相对应的所述2D地图处理模型，包括：与计算平面图像深度的地图方法类型相对应的2D地图处理模型。

5.根据权利要求3所述的方法，其特征在于，所述任务属性包括3D类AR任务；

与所述3D类AR任务相对应的所述3D校正处理模型，包括：与基于PWP3D的3D校正方法类型相对应的3D校正处理模型，或与基于边缘信息的3D校正方法类型相对应的3D校正处理模型；

与所述3D类AR任务相对应的所述3D地图处理模型，包括：与以物体姿态确定地图点深度信息的地图方法类型相对应的3D地图处理模型。

6.根据权利要求3所述的方法，其特征在于，所述任务属性包括融合类AR任务；

与所述融合类AR任务相对应的所述融合地图处理模型，包括：与确定2D和3D融合地图方法类型相对应的融合地图处理模型。