[发明专利]一种基于WebSocket的流媒体低延时通信实现方法、电子设备、存储介质

权利要求书

1.一种基于WebSocket的流媒体低延时通信实现方法，其特征在于，包括以下步骤：

发送握手信息，客户端通过WebSocket模式成功连接至流媒体服务器后，发送握手信息；

连接判断，流媒体服务器收到客户端的连接后，若预设时间内没有收到握手信息，则判定为无效连接，强制中断该连接；

发送心跳信息，所述客户端及所述流媒体服务器在时间阈值内无任何信息发送时，发送一帧心跳信息；

推送流媒体帧，所述流媒体服务器解析到来自视频监控设备的流媒体帧时，将流媒体帧放入订阅客户端的推送队列，由WebSocket连接顺序推送至客户端；

云台控制，所述客户端通过云台控制帧对视频设备的云台进行控制；

连接管理，所述流媒体服务器收到所述客户端的WebSocket连接后，对基本参数的合理性判断通过后，再判断当前已有的连接数是否小于客户端连接池上限，若全部满足，则将该连接加入连接池，并对该连接订阅的视频监控设备发起连接；

流媒体帧分发，当有若干个客户端发起对同一个视频监控设备的订阅时，所述流媒体服务器对所述视频监控设备只发起一次连接，同时将发起订阅的所有客户端加入该视频监控设备的订阅列表；

错误帧纠正，所述流媒体服务器对每个连接配置缓存帧上限，当所述流媒体服务器收到来自客户端的新的流媒体帧时，在加入客户端的推送队列时，通过流媒体帧的类型和判断帧数是否达到所述缓存帧上限，对流媒体错误帧进行纠正，所述错误帧纠正步骤中，若收到的是视频I帧，则清除队列中所有的视频I帧、视频P帧并加入新的流媒体帧至推送队列，若帧数超出所述缓存帧上限，则顺序删除最旧的音频A帧，并清除等待视频I帧状态，然后加入该帧。

2.如权利要求1所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：所述发送握手信息步骤中，所述握手信息包括订阅的视频设备ID、通道号、码流类型、音频开关；所述码流类型包括默认码流、主码流、子码流、移动码流。

3.如权利要求1所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：所述发送心跳信息步骤中，所述心跳信息包含本地的时间戳信息，当超过预设时间没有从WebSocket连接收到任何信息时，判定为连接失效，强制中断该连接。

4.如权利要求1所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：所述云台控制步骤中，所述云台控制帧包括控制类型、控制速度、启停标志、控制参数，所述控制类型包括上、下、左、右、焦距、焦点、光圈、预置点，所述控制速度包括快、慢、中。

5.如权利要求1所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：所述流媒体帧分为视频I帧、视频P帧、音频A帧，所述视频I帧和所述视频P帧包含视频时间戳、编码格式、画面尺寸、画面格式、帧率、视频数据，所述音频A帧包含音频时间戳、编码格式、采样率、包尺寸、采样方式、通道数、音频数据。

6.如权利要求5所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：所述流媒体帧分发步骤中，所述流媒体服务器解开来自不同厂家的视频监控设备的流媒体帧封装，并打包成统一的视频I帧、视频P帧、音频A 帧，再分发给订阅的客户端。

7.如权利要求5所述的一种基于WebSocket的流媒体低延时通信实现方法，其特征在于：

若收到的不是视频I帧，并且帧数未达到所述缓存帧上限，则直接加入推送队列，等待视频I帧状态丢弃该帧；

若收到的不是视频I帧，并且帧数已经达到所述缓存帧上限，等待视频I帧状态丢弃该帧，若缓存帧中存在音频A帧，则直接删除最旧的音频A帧，加入该帧，若缓存帧中不存在音频A帧，但是存在视频I帧，并且最旧的帧是视频P帧，则直接删除最旧的视频P帧，加入该帧，若缓存帧中不存在音频A帧，但是存在视频I帧，并且最旧的帧是视频I帧，则放弃该帧，并标识为等待视频I帧状态，若缓存帧中不存在音频A帧或视频I帧，只有视频P帧，则放弃该帧，标识为等待视频I帧状态；

配置的缓存帧上限为实际码率的2～3倍。