[发明专利]一种基于多终端协同的视频上行链路传输方法

权利要求书

1.一种基于多终端协同的视频上行链路传输方法，其特征在于，该方法包括视频服务器端和视频客户播放端以下步骤：

视频服务器端：

1)视频源提供模块：监听网络连接管理模块发出的新视频帧请求，提供原始的视频画面，供给视频编码模块用于编码；

2)视频编码模块：接收来自视频源提供模块的原始视频帧，进行H.264编码后发往终端连接调度模块准备传输；

3)终端连接调度模块：监听协同终端的接入，接收来自视频编码模块的编码帧，进行分流决策，选择一路合适的终端连接存入对应缓冲区等待发送，当帧传输完毕，向视频源提供模块发起新的视频帧请求；

视频服务器端所述步骤2)和步骤3)中，终端连接调度模块由以下四部分构成：(1)新连接监听器(2)分流决策器(3)连接维护与缓存管理器(4)数据传输器；具体流程为：

a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；

b)分流决策器接收视频编码模块发来的已编码视频帧，并向连接维护与缓存管理器请求各连接的套接字已缓存的数据量，选择缓存量最小的一个连接，将视频帧发给连接维护与缓存管理器，请求其将该帧加入刚选出的连接的缓存区；

c)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自分流决策器的查询请求，接受来自新连接监听器的新连接接入，向数据传输器提供欲发送的视频数据；

d)数据传输器负责将各连接缓存中的数据发送出去，数据传输器定时查询连接维护与缓存管理器的各连接缓存状况，当有连接的缓存不为空时，将该连接的缓存数据通过其对应套接字发送出去；

视频客户播放端：

1)终端连接调度模块：监听协同终端的接入，接受各路连接的数据并缓存，排序并拼接收到的数据包，当获取到完整的一帧后，将视频帧发给帧管理模块；

2)帧管理模块：接受来自终端连接调度模块的完整视频帧，将缓存的视频帧按帧时间戳进行排序、当收到视频播放模块的新帧请求时提供新视频帧给视频解码模块，根据已缓存的视频帧数量进行吞吐量判决、并向网络管理控制服务器发起调整协同策略请求；

3)视频解码模块：接受来自帧管理模块的编码视频帧，进行H.264解码后发往视频播放模块准备播放；

4)视频播放模块：按照视频帧率定时向帧管理模块请求新视频帧，并接收来自视频解码模块解码后的视频帧进行播放。

2.根据权利要求1所述的一种基于多终端协同的视频上行链路传输方法，其特征在于，视频客户播放端所述步骤1)中，终端连接调度模块由以下三部分构成：(1)新连接监听器(2)连接维护与缓存管理器(3)数据传输器；具体流程如下：

a)新连接监听器打开一个端口作为业务数据传输端口并监听，当有新的协同终端接入后，将该连接的套接字发给连接维护与缓存管理器进行管理；b)连接维护与缓存管理器管理所有的连接及其对应的视频帧缓存区，接受来自新连接监听器的新连接接入，接收数据传输器提供的已连接的各路协同终端的视频数据并采用一个队列进行缓存，定期检查缓存队列，当检测到一帧视频的全部数据包都接收到后，将该帧提供给帧管理模块；c)数据传输器负责处理接收各连接套接字接收的视频数据，并将数据发送给连接维护与缓存管理器进行排序、合并处理。

3.根据权利要求2所述的基于多终端协同的视频上行链路传输方法，其特征在于，视频客户播放端所述步骤2)中，帧管理模块由以下三部分构成：(1)帧缓存队列(2)传输控制决策器(3)帧播放管理器；具体流程如下：

a)帧缓存队列接收来自终端连接调度模块的完整视频帧，将帧按时间戳顺序存放在队列中，并接收传输控制决策器和帧播放管理器的帧长度查询请求和新视频帧请求；为防止缓存帧数过多导致队列访问开销过大，为队列设定缓存容量上限＝500，当队列长度达到上限时，将不再接收新的视频帧，并阻塞终端连接调度模块使其停止从各连接上接收数据；

b)帧播放管理器用于接收视频播放模块的新帧请求并向视频解码模块提供视频帧；帧播放管理器设置两个帧缓存队列长度门限A＝60，B＝90用于判决是否需要等待缓冲；当一帧播放完毕后，视频播放模块会向帧播放管理器请求新帧，这时帧播放管理器向帧缓存队列请求队列长度；当长度小于门限A时，设置状态为缓冲中，这时将会阻塞视频解码模块使视频播放暂停等待缓冲；当长度大于门限B时，设置状态为播放中，这时将向帧缓存队列请求需要播放的下一帧传送给视频解码模块供解码播放；

c)传输控制决策器定时判断帧缓存队列长度，并设置两个门限A＝150，B＝300用于传输控制调整判决；当视频帧数低于门限A时，判定为吞吐量不能满足业务需求，向网络管理控制服务器发送调整增加吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决；当视频帧数高于门限B时，判定为吞吐量超出需求，向网络管理控制服务器发送调整减少吞吐量请求，然后将传输控制决策器休眠10秒等待自适应调整后再进行下一次的判决。