[发明专利]图像解码装置及方法、图像解码系统及系统LSI

说明书

技术领域

本发明涉及对被编码的图像数据进行解码的技术，特别是涉及在通过流方式再现被编码的图像数据时的该图像数据的解码技术。

背景技术

近年来，已经普及了一边经过因特网等传输线路接收图像数据一边同时进行再现的流方式。

在该流方式中，在因为访问集中到传输线路中等的、在传输线路上载有过度的通信负荷(即拥堵)而产生传输延迟的情况下如何应对成为难题。在产生传输延迟的状况下，能够引起再现所需的图像数据在需要的时刻不到达接收侧的现象(接收缓冲下溢)。

以前，已知一种MPEG视频解码器，在接收缓冲器引起了下溢时，停止对图像数据的解码处理，继续输出之前的解码图像。具体地说，MPEG视频解码器将存储在接收缓冲器中的MPEG位流的占有量与规定的阈值进行比较，在占有量低于阈值的情况下，跳过解码处理，继续输出在此之前从位缓冲器读出的MPEG位流的解码结果。

在这种利用现有技术的MPEG视频解码器中，由于在接收缓冲器中的MPEG位流的占有量低于阈值时，即产生接收缓冲下溢的危险高时，跳过解码处理，因此，结果其占有量增大，在避免了接收缓冲下溢的同时，还能继续进行视频输出，因此，继续进行显示器显示而显示图像不紊乱。

专利文献1：日本特开平8—331560号公报

但是，由于利用现有技术的MPEG视频解码器，在接收缓冲器中的MPEG位流的占有量低于阈值的期间，跳过解码处理，反复输出在此之前从接收缓冲器读出的MPEG位流的解码结果，因此，其外观上有一定期间停止了显示图像的更新的问题。

从而，观看显示图像的用户感到对于装置发生故障和通信中断等的不安，根据该情况，不管是否只是因为传输线路延迟而产生接收缓冲下溢而仍在正常工作，都有可能执行停止工作和切断通信等指令。

上述问题在有线传输线路中不用说了，在无线传输线路上的实时图像收发中尤为显著。从无线比有线的带宽窄和误码率高的观点来看，这是因为伴随着传输线路延迟的接收缓冲下溢的发生频率增高了。

另一方面，今后，通过带相机的手机中的动画图像处理性能和通信性能进一步提高，宽带无线访问环境的完备和对相机、录像机等设备装入网络功能的无线网络连接等，预计在各种各样场合下向网络发送所拍摄到的运动图像，并且实时视听运动图像的情形(所谓实况转播的方式)将增多。这时，例如在举行某项活动时，与某个特定的无线接入点连接许多摄像设备，在向网络发送由各摄像设备拍摄到的运动图像而产生了拥堵状态的情况下，所发送的运动图像数据有可能引起显著的传输延迟。其结果，可想到在接收侧因接收缓冲下溢造成显示图像的更新停止几秒以上的情形。

发明内容

本发明的目的在于提供一种图像解码装置，该图像解码装置即使是产生了接收缓冲下溢的状况下，也防止显示图像的更新停止一定期间，或者缩短更新停止的期间。

本发明的图像解码装置，一面向接收缓冲器取入从外部接收的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，具有：存储器，暂时保持图像数据；判定单元，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；合成图像生成单元，在判定结果是肯定的情况下，取出保存在上述帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行解码了的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据；以及输出单元，输出所生成的合成图像数据，反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

发明效果

根据用于解决上述问题的手段中记载的结构，由于输出置换后的图像数据的占有比例逐渐变高而生成的多个合成图像，因此，显示内容缓慢地变化。

通过实现显示内容的缓慢变化，能够使用户理解不是图像解码装置发生故障或者通信中断，而是“只不过是网络拥堵”的状况。

在此，从上述外部接收的图像编码数据也可以由多个规定的处理单位构成，对每个规定的处理单位进行图像数据的置换，上述图像解码装置具有重要度计算单元，该重要度计算单元对每个上述规定的处理单位计算重要度，上述合成图像生成单元以与计算出的重要度中最高重要度对应的规定的处理单位，置换保存在上述帧存储器中的图像数据的一部分。

该情况下，也可以越靠近帧中央的位置，上述分配的数值越高。