[发明专利]一种基于websocket的视频实时监视方法及系统

说明书

本发明公开了视频监视技术领域的一种基于websocket的视频实时监视方法及系统。浏览器与视频服务器之间通过websocket通信，方法由浏览器执行，包括：分别请求主码流视频和辅码流视频；播放主码流视频，同时按照设定的时间周期计算主码流视频的播放延迟时间；当主码流视频的播放延迟时间大于第一阈值时，跳过部分帧继续播放主码流视频；当主码流视频的播放延迟时间小于第一阈值时，播放辅码流视频并重新请求主码流视频，当重新请求的主码流视频满足设定条件后，重新播放主码流视频。通过服务器、客户机时标计算播放延迟，进行实时播放策略调整，解决了实时监视应用场景下实时性能不足的问题。

技术领域

本发明属于视频监视技术领域，具体涉及一种基于websocket的视频实时监视方法及系统。

背景技术

视频实时监视是很多工业生产、公共安全等领域的重要应用，B/S架构具有使用方便、灵活，不需要客户端安装特定软件的优点。然后随着Adobe公司的Flash插件退出历史舞台，浏览器实时视频流往往需要利用定制的特定厂家插件来实现，背离了B/S架构的客户端无需安装特定软件的优点，用户体验不佳。目前存在一些无插件解决方案，但是对于实时浏览的场景，其存在实时性能不足的问题。

发明内容

为解决现有技术中的不足，本发明提供一种基于websocket的视频实时监视方法及系统，能实时进行播放策略调整，解决了实时浏览的场景实时性能不足的问题。

为达到上述目的，本发明所采用的技术方案是：

第一方面，提供一种基于websocket的视频实时监视方法，浏览器与视频服务器之间通过websocket通信，方法由浏览器执行，包括：分别请求主码流视频和辅码流视频；播放主码流视频，同时按照设定的时间周期计算主码流视频的播放延迟时间；当主码流视频的播放延迟时间大于第一阈值时，跳过部分帧继续播放主码流视频；当主码流视频的播放延迟时间小于第一阈值时，播放辅码流视频并重新请求主码流视频，当重新请求的主码流视频满足设定条件后，重新播放主码流视频。

进一步地，所述主码流视频和辅码流视频均在其头部添加视频服务器当前采集到的实时视频的时标。

进一步地，浏览器与视频服务器之间的通信采用应用控制的滑动窗口管理，即浏览器端代码在任意时刻，都维持一个连续的允许发送的帧的序号，称为发送窗口；同时，视频服务器端也维持了一个连续的允许接收的帧的序号，称为接收窗口；视频服务器端在发完一个数据帧后，不停下来等待应答帧，而是连续发送K₁个数据帧后等待浏览器端确认；同时视频服务器端在每一帧报文内部均填入视频服务器端的本机当前时标T_s；当浏览器端代码接收到视频服务器端的数据帧超过K₂个数据帧(K₂≤K₁)时，回复已收到数据帧的序号到服务器端；视频服务器端接收到浏览器端的数据帧应答帧，计算已确认数据帧和已发送数据帧的差值，当差值大于零时，继续发送差值个数的帧；接收端保持一个已接收到的码流缓冲区，并记录当前收到的发送端发送的最后一帧报文的本机时间T_clast和最后一帧报文内存储的时标T_slast。

进一步地，播放主码流视频前，先将主码流视频转换为fmp4格式，包括建立fmp4播放头，fmp4播放头中的moovBox部分包含每秒播放的H.264帧数。

进一步地，所述设定的第一阈值时间周期为2秒。

进一步地，所述计算主码流视频的播放延迟时间T_play的方法为：

T_play＝T_diff-T_d0-T_skip

T_diff＝T_slast-T_clast