[发明专利]图像解码合成输出的延时处理方法

说明书

技术领域

本发明涉及一种针对以视频(电视机、电视墙)为显示终端的H.264视频硬件解码器的多路通道图像解码合成输出的延时处理方法。

背景技术

随着Internet和多媒体技术的快速发展，视频的网络实时传输成为网络应用的研究热点之一。H.264标准以其高压缩率、高质量、低码率成为目前和下一代网上多媒体传输的主要格式和标准。视频的实时传输要求传输的时延要小、丢包率要低。

作为基于H.264的视频服务器，在前端硬件编码后通过网络传送图像数据包到终端解码显示。终端可以是基于客户端软件的计算机或者通过视频解码器硬件解码后输出到视频(电视机、电视墙)上。然而这两种终端在图像刷新上是存在差异的。计算机客户端软件接受图像数据解码后是实时处理，即解码器接收端收到多少数据包就可以解多少帧，并且实时刷新。视频解码器解码输出到视频(电视机、电视墙)上则是40ms刷新一帧。特别是当解码器进行多路通道CIF格式(常用视频标准化格式)的图像解码时，接收到视频编码器端传来的图像数据解码，以40ms为一个周期刷新一帧。当解码器接收到远端传来的图像数据解码时，若解码器解码接收的数据包帧数过快，就会造成每个周期内，数据包帧数比每40ms解码显示周期快。当在40ms的一个周期内，某一路或者多路图像发生延时时，还会影响到下一个周期，当这种延时累计到一段比较长的时间时就会造成视频(电视机、电视墙)图像和现场图像发生明显延时情况，且此图像延时是不可恢复的。明显的表现特征是：电视、电视墙显示的图像落后于摄像头实际监控时间，比如：10点了还显示的是9点30分的监控图像。

并且，摄像头端和监控端硬件解码的显示端制式不一致，也就是两种制式同时在一个电视(电视墙)上显示时，也能产生图像延迟。摄像头和显示端可能是PAL或者NTSC制式，其中PAL的标准是每秒显示25帧，NTSC的标准时每秒显示30帧。那么当摄像头的发送端为PAL制式，接收解码器端为NTSC制式时，所生的图像延迟尤为严重。经过一段时间的延时积累后，这些延迟就会导致视频(电视机、电视墙)图像和现场图像间有很大的延时，且此图像延时是不可恢复的，失去了视频监控的初衷和效果，使实时监控成为一句空话。

视频(电视机、电视墙)作为输出的监控终端是最广泛、最常用的解决方案，具有成本低，效果直观，操作方便等特点。由于视频的网络实时传输面临的较多的不确定性，网络传输质量的起伏比较常见。并且发送端和接收端的帧率不同步的情况一直存在，不可能同步。图1很直观的表现出了为什么帧率会不同步。

所以，当以视频(电视机、电视墙)为终端显示时，必须要考虑其40ms为一个周期的刷新特性。如果当在40ms的一个周期内某个通道发生延时的情况后，此延时就会一直存在并影响到后面的周期，经过一段时间的积累之后会导致视频终端(电视机、电视墙)的图像某个通道和现场图像之间有相当大的延时，造成图像显示都不正常。此情况下的视频解码器对于图像数据包的延时处理具有很迫切的要求。因此，随着流媒体服务的进一步发展，这类处理方法正受到越来越多的重视。

发明内容

本发明所要解决的技术问题是：提供一种图像解码合成输出的延时处理方法。采用本方法可以修正图像延时，把所产生的延时控制在可接受的范围之内，保证实时视频监控的正常和工作效率。

本发明所采用的技术方案是：图像解码合成输出的延时处理方法，包括以下步骤：

S1)在解码器端设置一个缓冲区来接收远端图像数据包，在缓冲区中设置一个数据包数的高点标记和低点标记；

S2)当缓冲区中数据包数处于低点标记的警戒点，开始计时；当数据包数到达高点标记的警戒点时，纪录时间长度T以及接收到的帧数M；

S3)计算这段时间内，摄像头发送端每秒多发出的帧数N，其中N＝M/T；

S4)反馈摄像头发送端每秒多发出的帧数N给摄像头发送端，摄像头发送端在接收到反馈N后，主动降低发送帧率。

进一步地，步骤S2具体包括以下过程：

当缓冲区数据包数处于低点标记的警戒点时，启动计时器，此时时间为T₀，并纪录当前帧数M₀；当数据包数到达高点标记的警戒点时，停止计时器，此时时间为T₁，并纪录当前帧数M₁；时间长度T＝T₁-T₀，这段时间内收到的帧数M＝M₁-M₀。

进一步地，步骤S1的低点标记为10％的缓冲区大小，高点标记为90％的缓冲区大小。