[发明专利]基于MCU的视频会议系统及其视频传输丢包处理的方法

权利要求书

1.一种基于MCU的视频会议系统中视频传输丢包处理的方法，该基于MCU的视频会议系统包括编码端、MCU服务端和解码端，其特征在于，该视频传输丢包处理的方法具体包括：

步骤S1，所述编码端对视频图像进行采样与编码，将编码后获得的子码流按UDP协议发送至所述MCU服务端；

步骤S2，所述MCU服务端对接收到的子码流进行丢包检测，然后返回反馈信息至所述编码端；所述反馈信息包括丢包检测结果；

步骤S3，所述编码端根据所述反馈信息，执行丢包处理策略；其中，所述丢包处理策略包括：对发生丢包的子码流所属的图像组序列，所述编码端停止向所述MCU服务端发送该图像组序列的剩余数据；

步骤S4，所述MCU服务端将丢包检测后的子码流按UDP协议发送至所述解码端；

步骤S5，所述解码端接收到所述子码流后进行丢包检测和重组，出现子码流丢包时返回终止数据发送的请求至所述MCU服务端；所述MCU服务端根据所述请求，对发生丢包的子码流所属的图像组序列，停止向所述解码端发送该图像组序列的剩余数据；

步骤S6，所述解码端对丢包检测与重组后的子码流进行解码获得视频图像。

2.根据权利要求1基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，

所述步骤S1具体包括：

所述编码端对视频图像进行采样，将采样获得的图像分成第一子图像和第二子图像并分别送入不同的编码器进行编码，将编码后获得的第一子码流和第二子码流按UDP协议发送至所述MCU服务端；

所述步骤S6具体包括：

若在丢包检测与重组后所述解码端接收到所述第一子码流和所述第二子码流，则所述解码端对所述第一子码流和所述第二子码流中的数据进行解码，并将解码后的图像进行拼接处理，获得视频图像；

若在丢包检测与重组后所述解码端仅接收到所述第一子码流或所述第二子码流，则所述解码端对接收到的所述第一子码流或所述第二子码流进行解码，对解码后的图像进行图像还原处理，获得视频图像。

3.根据权利要求2基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，所述步骤S1中所述编码端对所述第一子图像和所述第二子图像进行编码的过程具体包括：所述编码端将所述第一子图像和所述第二子图像关键帧的间隔帧数都设置为在时，所述编码端只对第一子图像进行编码；在时，所述编码端对所述第一子图像和所述第二子图像都进行编码；其中，GopSize表示关键帧周期，FrameNum表示帧序。

4.根据权利要求3基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，

步骤S2具体包括：

所述MCU服务端接收到所述子码流后进行丢包检测并进行丢包率的统计，然后返回反馈信息至所述编码端；其中，所述反馈信息包括丢包检测结果和丢包率；

步骤S3中执行丢包处理策略的过程还包括：

当所述丢包率为0％-10％时，所述编码端不做任何处理；

当所述丢包率为10％-20％时，所述编码端将对应同一帧的两个子码流的数据包发送间隔设置为：该发送间隔在1帧以上并且在5帧以下；

当所述丢包率为20％-30％时，所述编码端在所述第一子码流和所述第二子码流中任意选择一路子码流发送至所述MCU服务端；

当所述丢包率大于30％时，所述编码端在所述第一子码流和所述第二子码流中任意选择一路子码流，并将该子码流的编码帧率降低为10fps以上，再将编码帧率降低后的子码流发送至所述MCU服务端。

5.根据权利要求4基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，步骤S2中所述MCU服务端按照预定的时间间隔进行丢包率的统计。

6.根据权利要求1或5基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，所述编码端采用隔行下采样的方法对视频图像进行采样。

7.根据权利要求1基于MCU的视频会议系统中视频传输丢包处理的方法，其特征在于，

步骤S2中所述MCU服务端返回反馈信息至所述编码端的过程为：所述MCU服务端按照TCP协议发送反馈信息至所述编码端；

步骤S5中所述解码端返回终止数据发送的请求至所述MCU服务端的过程包括：所述MCU服务端按照TCP协议发送终止数据发送的请求至所述编码端。