[发明专利]用于Cloud XR的音视频及控制信息的私有传输方法及装置

说明书

本申请公开了一种用于Cloud XR的音视频及控制信息的私有传输方法及装置，其中所述方法包括与服务端握手成功之后，启动流媒体传输；接收所述流媒体传输过程中按照该传输协议规则传输的音视频文件数据包以及控制信息数据包；根据所述音视频文件数据包以及控制信息数据包，进行执行显示和/或动作。通过本申请实现了在不同XR品牌设备、硬件规格与渲染端服务器在音视频及控制数据的传输。解决了流媒体传输无法跨语言、跨平台传输的技术问题。本申请还提供了一种BSTP传输协议，用以实现私有传输。

技术领域

本申请涉及VR/AR/MR/XR技术领域，具体而言，涉及一种用于Cloud XR 的音视频及控制信息的私有传输方法及装置。

背景技术

随着5G商用时代的到来极大助力了XR(扩展现实，包括AR/VR/MR) 技术的应用普及，XR行业得到高速发展。传统XR业态从PCVR或一体机转变为Cloud XR的模式，服务端将画面进行渲染，利用流媒体传输通道将渲染后的视频及音频数据传输给XR终端。

但相关技术中暂无针对XR的音视频传输及控制的专用协议，流媒体传输存在无法跨语言、跨平台传输问题，极大制约了Cloud XR的的发展。

针对相关技术中流媒体传输无法跨语言、跨平台传输的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种用于Cloud XR的音视频及控制信息的私有传输方法及装置，以解决流媒体传输无法跨语言、跨平台传输的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于Cloud XR 的音视频及控制信息的私有传输方法，用于XR客户端。

根据本申请的音视频及控制信息的私有传输方法包括：所述方法包括：

与服务端握手成功之后，启动流媒体传输；接收所述流媒体传输过程中按照传输协议传输的音视频文件数据包以及控制信息数据包；根据所述音视频文件数据包以及控制信息数据包，进行执行显示和/或动作。

进一步地，方法还包括：接收所述流媒体传输过程中按照传输协议传输的传感器数据包，所述方法还包括：根据所述流媒体传输数据包单包的大小进行数据分块传输，以满足音视频数据、控制信息数据、传感器数据的实时性传输。

进一步地，所述数据分块传输包括基本头、消息头以及分块数据，在所述分块数据中储存对应的分块消息，所述基本头至少包括：分块数据的类型和分块数据ID；所述消息头至少包括：消息类型、分块数据ID下的种类ID、消息时间戳、数据块长度。

进一步地，所述与服务端握手包括：在客户端与服务端建立TCP连接后发起握手，并向所述服务端发起携带有当前协议版本、应用版本以及客户端类型的消息；经过比对满足条件之后，与服务端握手成功。

进一步地，所述启动流媒体传输，包括：启动流媒体传输之后，接收所述服务端返回的响应状态，其中所述响应状态中至少包括如下之一的参数：成功或失败、分辨率宽、分辨率高、编码格式、比特率、刷新率、帧率。

进一步地，所述接收所述流媒体传输过程中按照传输协议传输的音视频文件数据包以及控制信息数据包，包括：在请求关键帧之后，接收所述服务端返回的视频传输输数据、第一音频传输数据、第二音频传输数据，其中，所述视频传输数据通过输入帧索引、H.264/HEVC进行视频数据传输，所述第一音频传输输数据以及所述第一音频传输输数据通过输入pcm裸数据进行扬声器音频传输；以及在流媒体传输异常的情况下，断开链接。

进一步地，所述方法还包括：接收所述流媒体传输过程获取设置传输参数以及视频参数，其中所述传输参数至少包括如下之一：分辨率宽、分辨率高、编码格式、比特率、刷新率、帧率参数，所述视频参数至少包括如下之一：可设置比特率Mbp/s、刷新率/帧率参数。