[发明专利]一种基于多终端协同的视频上行链路传输方法

说明书

技术领域

本发明涉及一种多终端环境下协同传输视频的方法，属于无线网络流媒体传输领域。

背景技术

随着宽带网的普及和多媒体技术的发展，流媒体技术的应用也越来越广泛，如数字广播业务、视频会议业务、视频点播服务、IPTV、移动流媒体业务等。用户已经不满足于网页浏览、文字阅读等上网方式，人们往往希望在线观看视频直播，体验各种各样的流媒体服务。现实网络中单链路的下载速度往往不能满足用户观看高清视频的要求，视频经常处于暂停缓冲状态。此时可以利用泛在网络下多终端协同手段，用多个异构无线终端，通过网络控制平台进行注册及统一管理，由网络控制平台进行传输调度控制多种无线网络协同工作将视频从服务器传送到客户端，多流并发，充分利用网络资源，提高视频传输速度以及用户体验。

发明内容

技术问题：本发明针对现实网络中单链路视频传输缓慢，无法满足用户体验等问题，提供一种多终端环境下，基于多终端协同的高清实时视频上行链路传输方法。

技术方案：本发明基于多终端环境下，提出了多终端协同的高清视频传输方法，该方法包括以下步骤：

视频服务器端：

1)视频源提供模块：监听网络连接管理模块发出的新视频帧请求，提供原始的视频画面，供给视频编码模块用于编码；

2)视频编码模块：接收来自视频源提供模块的原始视频帧，进行H.264编码后发往终端连接调度模块准备传输；

3)终端连接调度模块：监听协同终端的接入，接收来自视频编码模块的编码帧，进行分流决策，选择一路合适的终端连接存入对应缓冲区等待发送，当帧传输完毕，向视频源提供模块发起新的视频帧请求；

视频客户播放端：

1)终端连接调度模块：监听协同终端的接入，接受各路连接的数据并缓存，排序并拼接收到的数据包，当获取到完整的一帧后，将视频帧发给帧管理模块；

2)帧管理模块：接受来自终端连接调度模块的完整视频帧，将缓存的视频帧按帧时间戳进行排序、当收到视频播放模块的新帧请求时提供新视频帧给视频解码模块，根据已缓存的视频帧数量进行吞吐量判决、并向网络管理控制服务器发起调整协同策略请求；

3)视频解码模块：接受来自帧管理模块的编码视频帧，进行H.264解码后发往视频播放模块准备播放；

4)视频播放模块：按照视频帧率定时向帧管理模块请求新视频帧，并接收来自视频解码模块解码后的视频帧进行播放。

视频服务器端所述步骤2)和步骤3)中，终端连接调度模块由以下四部分构成：

(1)新连接监听器(2)分流决策器(3)连接维护与缓存管理器(4)数据传输器；具体流程为：

a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；

b)分流决策器接收视频编码模块发来的已编码视频帧，并向连接维护与缓存管理器请求各连接的套接字已缓存的数据量，选择缓存量最小的一个连接，将视频帧发给连接维护与缓存管理器，请求其将该帧加入刚选出的连接的缓存区；

c)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自分流决策器的查询请求，接受来自新连接监听器的新连接接入，向数据传输器提供欲发送的视频数据；

d)数据传输器负责将各连接缓存中的数据发送出去，数据传输器定时查询连接维护与缓存管理器的各连接缓存状况，当有连接的缓存不为空时，将该连接的缓存数据通过其对应套接字发送出去。

视频客户播放端所述步骤1)中，终端连接调度模块由以下三部分构成：(1)新连接监听器(2)连接维护与缓存管理器(3)数据传输器；具体流程如下：

a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；

b)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自新连接监听器的新连接接入，接收数据传输器提供的已连接的各路协同终端的视频数据并采用一个队列进行缓存，定期检查缓存队列，当检测到一帧视频的全部数据包都接收到后，将该帧提供给帧管理模块；

c)数据传输器负责处理接收各连接套接字接收的视频数据，并将数据发送给连接维护与缓存管理器进行排序、合并处理。

视频客户播放端所述步骤2)中，帧管理模块由以下三部分构成：(1)帧缓存队列(2)传输控制决策器(3)帧播放管理器；具体流程如下：