[发明专利]同步数据流的方法

说明书

技术领域

本发明一般涉及数据处理，更具体地，涉及同步数据流(例如音频、图像、视频或者计算机程序)的系统和方法。

背景技术

由于增长的带宽、存储和计算能力，计算机程序的用户趋于产生和消费越来越多的多媒体内容。这些有时被称为富媒体环境的环境，以使用各自具有不同特性的多个媒体为特征。例如，这些内容可以是展示幻灯片、图像、视频、动画、图形、地图、网页或者任何其他的媒体对象(动画的或者非动画的)，甚至包括可执行程序及它们所得到的显示。因此，显示给用户的最终得到的数据流可以由多个媒体对象组成。注意到，这些对象中的任何一个都可以与另外一个同步，而且对象之间的关系可随着时间改变。

看起来这些媒体对象似乎是通过各种手段传送的。可以流式传输(stream)这些内容；往往可以利用渐进式下载方式对它们进行检索(retrieve)，乃至提前将它们完全下载。实际上，在大多数情况下，针对这些传送方式，甚至可以为任何一个单一内容而使用多个网络。看起来不受控制的网络延迟似乎可能意味着不同流之间的不同步，并且导致有缺陷的或者不可显示的最终数据流。至于服务质量，在因特网上，无法在时间上保证服务的传送。当使用多个网络时，这种情况会更糟。因此，需要同步所有这些数据流的手段。

现有技术描述了几个补救这些不同步的技术。

许多方法仅仅涉及生成同步信息其自身的具体方法。

为了弥补网络业务量的不确定性及其拥塞或瓶颈，其他方法集中于缓冲机制。实际上，传统的方法是利用缓冲器来获得足够的要显示的数据。例如，当用于流环境中时，预定的阈值需要在开始在媒体播放器中回放文件之前要被接收并累积的绝对的(以兆字节计)或者相对的(文件大小的百分比)数量的数据。对这些阈值的设置可以利用不同的技术(统计学、基于规则的等等)。也可以利用试图动态地预测网络延迟并相应地通过调整缓冲器深度的机制。虽然媒体流利用这种缓冲器机制，但是另一种被广泛采用的方法被称为渐进式下载。文件以传统方式被下载，但是一接收到数据就可以开始文件的回放；在这种情况下，就不再有传统意义上的缓冲器。

其他的方法主要通过缓冲器调整和补偿而集中于音频数据流(或者流)与它们关联的视频流的同步或者再同步。例如，由Laurence Kelvin Griffits提出的、标题为″System and method for maintaining synchronization between audioand video″的美国专利US6262776描述了为了帮助保持音频数据与视频数据之间的同步而选择性地丢弃视频数据帧的系统和方法。该方法的主要问题在于它仅仅解决了音频和视频之间的同步，而没有解决其他种类的流的同步。

同样，由Sirbu和Mihai G.提出的、标题为″Systems and methods forre-synchronizing video and audio data″的美国专利申请US20070019931A1涉及用于再同步视频和音频数据的系统和方法。所述系统和方法将与视频抖动缓冲器关联的视频计数和预定义的视频计数相比。响应于视频抖动缓冲器的视频计数超出预定义的视频计数的预定量，调整与音频抖动缓冲器关联的音频数据中给定的音频寂静周期(silence period)，直到该视频计数在预定义的视频计数的预定量之内为止。主要问题与前述专利一样：它只解决了音频和视频之间的同步，而没有解决其他种类的流的同步。

在如此描述的牵涉多个内容和网络的复杂的媒体环境中，没有用于同步各种到来的数据流的手段。

发明内容

多媒体播放器软件程序的用户能够在一个特定时刻观看许多视频，然而如果对于声音而不可能，则这样做就很困难。所以，音频对于必须由音频驱动的同步而言是关键的。因此，需要一种利用人类感知能力的这种特殊性质(尤其影响(leverage)音频寂静周期的使用)的方法。

根据本发明的第一方面，提供了一种在缓冲器中同步数据流的方法。当接收包括音频数据的第一数据流时，一接收到将第一数据流的第一数据与第二数据流的第二数据关联的同步标志，就在第一数据流中检测至少一个音频寂静周期。如果在接收到所关联的第二数据流的第二数据之前接收到同步标志，则在缓冲器内通过增加至少一个音频寂静周期的持续时间来修改第一数据流。