[发明专利]通过网络传送媒体的系统及方法

说明书

本发明公开了一种通过网络将媒体从一服务器传送至一用户装置的系统及方法，包括：一个于服务器上执行的虚拟现实应用程序，产生一包含多个3D模型的一虚拟的VR 3D环境；此服务器依一预定顺序检验每一状态；接着，服务器仅将尚未预存于用户装置的3D模型，渲染为一2D视频串流的一左眼影格与一右眼影格并传送至用户装置；其余已预存于用户装置的3D模型，服务器不做渲染，仅同步传送其诠译信息。用户装置收到左、右两眼影格与诠释信息两者后，将左、右两眼影格作为背景画面，并依据诠释信息，使用预存于自身的3D模型重新进行渲染，成为前景画面；最后混合前景与背景两者，产生作为包含有一VR场景的一输出视频串流的一混合VR影格并将其输出。

技术领域

本发明涉及一种通过网络传送影像与声音等媒体的系统及方法，特别是指一种于用户装置上渲染虚拟现实(Virtual-Reality；简称VR)影像的3D对象的方法，该方法通过在用户装置渲染3D对象来结合由服务器提供的VR场景的2D视频串流。

背景技术

过去几年间，在线游戏已成为世界潮流，随着云端计算相关系统与科技的发展，一种利用服务器串流游戏内容并提供服务的技术也已问世。

一种传统的提供云端游戏服务的方法为通过服务器负责几乎所有的运算，亦即，当要提供云端游戏服务时，该服务器需要产生一包括多个可由参与者移动或控制的3D对象的虚拟3D环境。在已知技术中，这些3D对象可包含音效，之后依据参与者(玩家)的控制动作，该服务器即将虚拟3D环境与3D对象结合并渲染至游戏机上一具有立体声的2D游戏屏幕上。之后，该服务器即将渲染后的影像与立体声以一包含声音的2D视频串流通过网络传输至玩家的装置上，玩家装置于接收后，仅需译码并显示该2D视频串流，而不需进行额外的3D渲染计算。然而，前述在同一服务器上为众多的玩家执行渲染计算的传统技术，将导致执行3D渲染计算的服务器负载过大；此外，因玩家所见画面皆以经过破坏性压缩的2D视频串流形式传输，因此，无论是影像与声音的质量均与原显示3D对象的质量有一段落差，且服务器与玩家装置间的大量网络通信带宽，亦成为一大问题。

虚拟现实(Virtual-Reality；简称VR)技术在近期已非常流行。为了为人眼提供一个VR的视觉感受，虚拟的VR场景必须包含一个专供人类左眼观赏的影像以及另一专供人类右眼观赏的影像。本发明提供一种通过网络传送影像与声音等媒体的系统及方法，其通过在用户装置渲染3D对象来结合由服务器提供的VR场景的2D视频串流。

发明内容

本发明的主要目的在于提供一种通过网络传送如影像与声音等媒体的系统及方法，可降低服务器的负载，提升用户装置上显示的影像与声音的质量，并节省服务器与用户装置间的通讯带宽；本发明方法的特点为在用户装置渲染3D对象(也称为3D模型)来结合由服务器提供的VR场景的2D视频串流，以达到于用户装置上渲染虚拟现实(Virtual-Reality；简称VR)影像的3D对象的结果。

为了达到上述目的，本发明提供了一种通过网络传送媒体的系统及方法，该媒体包括多个影像。此系统包括一服务器及一用户装置，此方法包括下列步骤：

步骤(A)：在一服务器上执行一虚拟现实(VR)应用程序，以产生一包含多个3D模型的虚拟的VR 3D环境，每一3D模型均搭配一指示该3D模型是否预存在一用户装置中的状态；

步骤(B)：该服务器检验该多个3D模型的状态，以决定哪一个3D模型要被编码为一2D视频串流所包含的一左眼影格及一右眼影格，其编码方式为将非预存在该用户装置中的多个3D模型编码至该左眼影格及该右眼影格中；

步骤(C)：该服务器至少将该2D视频串流的该左眼影格及该右眼影格、通过网络传送到该用户装置；其中，该服务器亦将该非预存在用户装置中的该多个3D模型以一预定顺序传送至该用户装置；当该用户装置接收到由该服务器传送来的该多个3D模型时，该用户装置即将该多个3D模型储存并发出一信息至该服务器，以改变该多个3D模型的状态，并指示该多个3D模型当前为预存在该用户装置中；以及