[发明专利]实例对象模型构建方法及装置、可读介质和电子设备

说明书

本公开提供一种实例对象模型构建方法及装置、可读介质和电子设备，涉及增强现实技术领域。该方法包括：获取当前环境对应的全景图像帧；基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。本公开能够将现实环境中的实例对象构建成实例对象模型，以便于进一步的编辑处理，提升实例对象模型的构建效率，以及提高模型的准确性和真实性。

技术领域

本公开涉及增强现实技术领域，具体涉及一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备。

背景技术

伴随着人们生活水平的不断提高，增强现实技术(Augmented Reality，AR)越来越得到人们的广泛关注。

目前，通过虚拟现实技术还原真实环境例如AR看房、AR房屋装修等技术方案中，一般是由专业的建模人员，根据用户提供的真实环境的图片对真实环境进行建模，以构建真实环境的虚拟场景。但是，这种技术方案中，一方面，由建模人员依据真实环境的图片进行虚拟场景的构建，不仅构建效率低下，而且在一些特殊场景如AR看房的场景中，由于每套房间都有不同的设计，需要构建大量的虚拟场景，浪费大量人力物力；另一方面，由建模人员构建的虚拟场景，一般不能由用户进行自由编辑，复用效果较差，并且虚拟场景的真实性以及准确性较差，影响用户的使用体验。

发明内容

本公开的目的在于提供一种实例对象模型构建方法、实例对象模型构建装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关技术中真实环境构建效率较低、准确性以及真实性较差、不能由用户自由编辑的问题。

根据本公开的第一方面，提供一种实例对象模型构建方法，包括：

获取当前环境对应的全景图像帧；

基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；

对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；

通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。

根据本公开的第二方面，提供一种实例对象模型构建装置，包括：

环境图像帧获取模块，用于获取当前环境对应的全景图像帧；

环境点云数据生成模型，用于基于所述全景图像帧对所述当前环境进行三维重建处理，得到所述当前环境对应的环境点云数据；

实例对象分割模块，用于对所述全景图像帧进行语义分割处理，确定所述全景图像帧中的实例对象对应的图像区域；

实例对象模型构建模型，用于通过所述图像区域与所述环境点云数据之间的映射关系，构建所述实例对象对应的实例对象点云数据，以通过所述实例对象点云数据构建实例对象模型。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。