[发明专利]用于在存在长期图像漂移的情况下使实时视频稳定的方法和系统

说明书

技术领域

本发明涉及用于视频监视的系统和方法且更具体地涉及在视频图像中补偿监视照相机的长期位置变化。

背景技术

本发明一般地涉及安全监视系统且更特别地涉及包含安装在高的室外支柱或其他构造上的安全监视系统，其中，对该支柱或构造起作用的风、热及其他效应可能使一个或多个照相机的确切位置和定向随时间推移而变化。照相机姿势的这些变化是由长期、较低频率效应（例如，热）和短期、较高频率效应（例如，风）所引起的。术语“支柱漂移”在本文中被用来表示长期效应，并且术语“支柱震动”被用来表示短期效应。

视频监视系统中的图像稳定化补偿了例如由照相机的安装支柱上的风和振动效应引起的照相机运动。这种被补偿的照相机运动一般是（相对）高频率的且转化成视频流中的表观像素运动，其进而将引起假警报和大量“虚假”对象的检测。当然，实际上，正在移动的常常是照相机而不是世界。调谐系统的运动检测灵敏度参数使得此运动被过滤出通常还使很多的合理运动被滤出。大多数图像稳定化算法尝试补偿这种类型的短期的支柱引发的照相机运动。

照相机安装支柱或其他安装结构也经受长期、较低频率效应，其将在几分钟或几小时的过程内干扰其附接的照相机的位置和定向。本发明的一个实施例中的安装结构相对于该结构被附接到的地面或建筑物是基本上固定或静态的。在不变的条件下，由此类结构保持的照相机将产生相对于其环境稳定的图像。诸如支柱由太阳或没有太阳的情况下进行加热和冷却的热效应是支柱运动的一个明显来源，其可以是相对缓慢且长期的效应。接近于结构的风和通过的重型车辆例如可以是对于快速移动和短期效应的来源。然而，可以是季节性的、老化相关的或基于环境的缓慢移动且以长期的方式影响监视图像的其他效应也是完全想到的，并且能够通过本文所提供的方法和系统来解决。

这些效应相对缓慢地起作用；一般地，其在看守视频的观察者的视觉阈值下面起作用，并且通常其是如此缓慢的，以致于其并不显著地影响运动检测。这些效应本质上是循环的。其也可以是永久的。

本发明的各方面能够解决循环以及非循环效应。例如，非循环效应可以是新结构到永久位置的缓慢沉降。这可以是饱和效应，其中，沉降在几天或几个星期内发生。

将二维图像数据转换成三维世界数据的视频监视系统十分受到这些长期效应的影响。这些长期效应实际上使照相机视图相对于建立图像至世界坐标映射时的照相机视图移位，并且因此能够对图像至世界坐标计算具有较大的影响。系统因此失去其准确地将图像平面对象放置在真实三维世界中的能力，因为与图像平面中的对象位置相对应的像素不再表示其在三维世界中的正确位置。

相应地，需要补偿诸如被保持在结构上的监视照相机的照相机相对于其监视环境的短期和长期移动的新型且改善的方法和系统。

发明内容

提供了用于在存在长期图像漂移的情况下使实时视频稳定的系统和方法。

根据本发明的一个方面，一种监视系统，包括用于产生多个视频帧的一个或多个照相机、用以存储所述多个视频帧的存储器、与存储器通信以通过以下各项来处理所述多个视频帧中的每个帧的处理器：（1）接收所述多个视频帧中的帧；（2）确定瞬态变换，所述瞬态变换将所述帧变换到得自于瞬态帧的相关瞬态坐标系；（3）确定基础变换，所述基础变换将所述瞬态坐标系变换到得自于基础帧的基础坐标系；（4）确定组合变换，所述组合变换将所述瞬态变换和所述基础变换进行组合；以及（5）对所述帧执行所述组合变换。

监视系统还可以包括从所述帧提取特征的处理器。根据本发明的另一方面，瞬态变换将所述帧中的特征变换成所述瞬态帧中的特征。

根据本发明的另一方面，利用所述帧来在监视系统的操作期间更新所述瞬态帧。

根据本发明的另一方面，基于偏置检测来选择所述帧作为已更新瞬态帧。

根据本发明的另一方面，在监视系统的设立阶段期间确定基础帧变换。

根据本发明的另一方面，所述瞬态变换修正了诸如支柱震动的高频效应。

根据本发明的另一方面，基础帧变换修正了诸如热变化的较缓慢作用的效应。

根据本发明的另一方面，已更新瞬态帧不能被变换成基础帧并且被存储在存储器中以用于以后处理。

根据本发明的另一方面，所述一个或多个照相机中的至少一个被附接于静态结构，其经历环境引起的移动，所述环境引起的移动不大于所述一个或多个照相机中的至少一个的视场。

根据本发明的另一方面，所述组合变换将所述帧到所述已更新瞬态帧的已更新瞬态变换、所述已更新瞬态帧到先前瞬态帧的变换和所述先前瞬态帧到所述基础帧的变换进行组合。