[发明专利]视频数据流的发送方法、终端及系统

说明书

技术领域

本发明涉及数据业务领域，尤其涉及一种视频数据流的发送方法、终端及视频数据流的传输系统。

背景技术

基于浏览器的实时通信（RTCWeb，Real-Time Communications Web）是一种运行在浏览器上的Web应用，其通过调用浏览器提供的应用程序编程接口（API，Application Programming Interface），可以实现在不同终端之间建立实时通信连接，从而进行媒体流（包括音频数据流和/或视频数据流）的传输。

相对于传统的VoIP应用而言，RTCWeb的特点是：媒体面和终端的本地控制由运行在终端上的浏览器实现，而信令面则由嵌入Web页面的脚本程序（例如Java脚本程序）实现。具体地，基于浏览器和脚本程序实现在不同终端之间建立媒体流传输信道的过程具体为：运行在终端上的浏览器根据用户输入的RTCWeb服务网站URL，从相应的服务器上下载页面数据（该页面数据包含脚本程序）并将相应的页面呈现给用户；在终端登录到服务器后，若脚本程序捕获到用户通过脚本程序呈现的拨号界面输入的指示信息（即用于表示终端呼叫另一个在线终端的指示信息），则脚本程序通过浏览器将该指示信息发送给服务器；服务器根据该指示信息，向相应的在线终端发送呼叫信令，从而在该在线终端成功接收该呼叫信令后，两端的终端建立起端到端的媒体流传输信道。针对终端在上述过程中所起的作用，可以按照由底层至上层的划分方式，将实现RTCWeb的终端的系统架构划分为处于不同层面的结构，包括：底层硬件（包括麦克等语音输入设备）、操作系统、浏览器、脚本程序（或者是由脚本程序实现的功能单元）。位于上层的结构可以通过层间API调用下层的结构以实现上层的结构的业务逻辑功能。

以RTCWeb为基础，可以实现基于网页的视频会议。与视频会议相关的数据包括视频数据和音频数据。针对视频数据，其处理过程主要包括视频数据的采集、编解码、加密、图像处理、显示、网络传输与流控等；而针对音频数据，其处理过程主要包括音频数据的采集、编解码、加密、声音处理、声音输出、音量频同步、网络传输与流控等。

基于RTCWeb实现的视频会议中常用到分层视频编解码（SVC，Scaled Video Coding）技术。其是一种能将一个视频数据流分割为多个具备不同分辨率、视频质量和帧速率的不同层次的视频数据流（包括基本层视频数据流和扩展层视频数据流）的技术，以先进视频编解码器标准（H.264AVC）为基础，并对H.264视频编解码标准进行扩展。具体地，视频数据流被分割为基本层视频数据流和扩展层视频数据流的示意图如图1所示，图1中的菱形方框代表视频数据流中的数据。在视频会议中，视频会议终端可以基于SVC技术来接收或者发送由一个基本层视频数据流和一个（或多个）扩展层视频数据流。其中，基本层视频数据流可以单独被解码，其适应于最低的网络带宽，可保证视频会议终端对图像进行显示时所要求的最基本的图像质量；扩展层视频数据流可视为基本层视频数据流的补充，对不同扩展层视频数据流进行解码得到的附加信息可分别用于提高基本层视频数据流的分辨率、帧速率或图像质量。

基于以上介绍的RTCWeb和SVC技术，可以为一个团队建立一个多方视频会议并且使得会议参与方能够实现点对点直连，即每个会议参与方所使用的视频会议终端均能发送媒体流给其他会议参与方所使用的视频会议终端。当会议参与方所使用的视频会议终端收到其他视频会议终端发送的媒体流后，可以把针对发言人的高清视频图像呈现在视频会议终端所运行的浏览器的大窗口中；同时把针对其他非发言人的会议参与方的非高清视频图像呈现在浏览器的小窗口中。随着会议的进行，发言人会不断发生变化，视频会议终端可以随着发言人的变换，对浏览器的大窗口和小窗口所显示的视频图像分别进行调整。

为了实现采用不同方式分别呈现针对发言人、非发言人的视频图像，现有技术中提出了如下三种解决方案。

方案一：发送方视频会议终端基于SVC技术向接收方视频会议终端发送基本层视频数据流和扩展层视频数据流。接收方视频会议终端对于针对发言人的基本层视频数据流和扩展层视频数据流，会选择对这两部分视频数据流都进行解码，并利用解码得到的视频图像合成高清视频图像；而对于针对非发言人的基本层视频数据流和扩展视频数据流，接收方视频会议终端会选择只对基本层视频数据流进行解码，并呈现相应的视频图像。