[发明专利]一种基于websocket的视频实时监视方法及系统

权利要求书

1.一种基于websocket的视频实时监视方法，其特征是，浏览器与视频服务器之间通过websocket通信，方法由浏览器执行，包括：

分别请求主码流视频和辅码流视频；

播放主码流视频，同时按照设定的时间周期计算主码流视频的播放延迟时间；

当主码流视频的播放延迟时间大于第一阈值时，跳过部分帧继续播放主码流视频；

当主码流视频的播放延迟时间小于第一阈值时，播放辅码流视频并重新请求主码流视频，当重新请求的主码流视频满足设定条件后，重新播放主码流视频。

2.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，所述主码流视频和辅码流视频均在其头部添加视频服务器当前采集到的实时视频的时标。

3.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，浏览器与视频服务器之间的通信采用应用控制的滑动窗口管理，即浏览器端代码在任意时刻，都维持一个连续的允许发送的帧的序号，称为发送窗口；同时，视频服务器端也维持了一个连续的允许接收的帧的序号，称为接收窗口；视频服务器端在发完一个数据帧后，不停下来等待应答帧，而是连续发送K₁个数据帧后等待浏览器端确认；同时视频服务器端在每一帧报文内部均填入视频服务器端的本机当前时标T_s；当浏览器端代码接收到视频服务器端的数据帧超过K₂个数据帧(K₂≤K₁)时，回复已收到数据帧的序号到服务器端；视频服务器端接收到浏览器端的数据帧应答帧，计算已确认数据帧和已发送数据帧的差值，当差值大于零时，继续发送差值个数的帧；接收端保持一个已接收到的码流缓冲区，并记录当前收到的发送端发送的最后一帧报文的本机时间T_clast和最后一帧报文内存储的时标T_slast。

4.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，播放主码流视频前，先将主码流视频转换为fmp4格式，包括建立fmp4播放头，fmp4播放头中的moovBox部分包含每秒播放的H.264帧数。

5.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，所述设定的第一阈值时间周期为2秒。

6.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，所述计算主码流视频的播放延迟时间T_play的方法为：

T_play＝T_diff-T_d0-T_skip

T_diff＝T_slast-T_clast

T_d0＝T_s0-T_c0

其中，T_slast表示当前收到的发送端发送的最后一帧报文内存储的时标，T_diff表示当前收到的发送端发送的最后一帧报文与浏览器端接收的最后一帧报文内存储的时标的差值，T_clast表示当前收到的发送端发送的最后一帧报文的本机时间，T_d0表示浏览器本地时标与服务器端时标的差值，即浏览器端连接上服务端后，websocket接收到的第一帧报文内的视频服务器端的本机时标T_s0与接收到第一帧报文的浏览器端本机时标T_c0的差值，T_skip表示已跳过播放时长。

7.根据权利要求1所述的基于websocket的视频实时监视方法，其特征是，所述当主码流视频的播放延迟时间大于第一阈值时，跳过部分帧继续播放主码流视频，具体为：

在已接收的缓冲区中，寻找到最新的I帧报文，从最新的I帧报文开始播放，同时根据之前最后播放的帧序号至最新的I帧报文的帧序号差值更新已跳过播放时长T_skip＝已跳过的帧数/每秒H.264帧数。