[发明专利]生成和回放虚拟现实多媒体的方法、系统和装置

说明书

本申请要求2014年5月13日递交的申请号为NO.61/992488的题为“虚拟现实系统和方法”的美国临时专利申请的优先权，其内容以引用方式被包含于此。

本说明书涉及基于计算机的视频，尤其涉及一种虚拟现实系统和方法。所述术语“虚拟现实”在此处具有一般意义上的含义并可以用于，例如，传统虚拟现实系统、增强现实系统或混合现实系统。

得益于运动图像专家组(Motion Pictures Expert Group，MPEG)标准和相关标准，数字二维视频已被广泛接受并具备一定的商业规模。同样的，数字三维视频的进步正在使成本降低并使其更易获取。

同样地，视频游戏中的虚拟现实越来越多地被接受，并且类似于美国加利福尼亚州Oculus VR公司Oculus Rift的产品正在增加用户对虚拟现实体验的机会。然而，虚拟现实计算系统和方法仍然面临许多挑战。对于整合视频到虚拟现实并成功集成360度立体图像的早期尝试集中在要求每只眼睛对应一个视频流时，解决固定瞳孔间距问题的方案。一种可以提供从多个用户高度进行观看，对应多个瞳孔间距，且在位置跟踪时能保持合适的视差同时确保场景连续性(没有因阻挡丢失的像素)的视频信息流的解决方案仍然很难找到。

根据本说明书的一个方面，提供了一种在一个开发计算设备上生成虚拟现实多媒体的方法。该开发计算设备包括一个处理器，和一个与该处理器相连的存储器。该方法包括：在该处理器中采集一个用于表示一个场景的点云，该点云数据包括多个点中每个点的颜色和深度数据，该多个点对应于采集范围内的某些位置；在该处理器中生成一个点云中选定部分的二维投影，该投影包括该选定部分的颜色和深度数据；和将二维投影存储在该存储器中。

根据本说明书的另一方面，提供了一种开发计算设备。该设备包括：一个存储器；和一个与该存储器互连的处理器，该处理器被配置为执行上述方法。

根据本说明书的又一方面，提供了一种在用户计算设备上回放虚拟现实多媒体的方法。该计算设备包括一个处理器，该处理器与一个存储器和一个显示器互连。该方法包括：接收一个点云的二维投影，该投影包括该点云的颜色和深度数据；从二维投影再生该点云；和在该显示器上渲染该点云。

根据本说明书的又一方面，提供了一种用户计算设备。该设备包括：一个存储器；一个显示器；和一个与该存储器和该显示器互连的处理器，该处理器被配置为执行上述方法。

根据本说明书的又一方面，提供了一种生成和回放虚拟现实多媒体的系统。该系统包括上述开发计算设备，上述用户计算设备和一个连接到上述开发计算设备的用于采集点云的采集装置。

参考以下附图对实施例进行描述，其中：

图1是根据一个非限制性实施例所示的一个生成和回放虚拟现实多媒体数据的系统的示意图；

图2是根据一个非限制性实施例所示的球面坐标和使用球面坐标放置的点云的参考图；

图3是根据一个非限制性实施例所示的一个生成和回放虚拟现实多媒体数据的流程；

图4是根据一个非限制性实施例所示的在图3所述流程中运行的软件组件；

图5是根据一个非限制性实施例所示的图1所述系统的示例性的采集装置；

图6是根据一个非限制性实施例所示的图5所述采集装置的三视图；

图7是根据一个非限制性实施例所示的图5所述采集装置的变体的三视图；

图8是根据一个非限制性实施例所示的生成和回放虚拟现实多媒体数据的一种方法；

图9是根据一个非限制性实施例所示的执行图8中步骤805的一种方法；

图10是根据一个非限制性实施例所示的执行图8中步骤810的一种方法；

图11是根据一个非限制性实施例所示的一个示例性的点云；

图12是根据一个非限制性实施例所示的使用图8所述的方法生成的一个示例性的二维投影；

图13A-13B是根据一个非限制性实施例所示的图12所述投影的示例性的数据结构；

图14A-14C是根据一个非限制性实施例所示的图12所述投影的其他的数据结构；

图15是根据一个非限制性实施例所示的一种执行图8中步骤805和810的示例性操作流程；

图16是根据一个非限制性实施例所示的一种执行图8中步骤815的示例性操作流程；

图17是根据一个非限制性实施例所示的另一种执行图8中步骤815的示例性操作流程；