[发明专利]组合多个视频流的系统和方法

说明书

相关申请

本申请要求2006年2月13日提交的美国临时申请No.60/772,670的优先权，后者的公开通过参考全部包括。本申请涉及2006年7月11日提交的美国申请No.11/456,745，后者的公开通过参考全部包括在此。 

政府权利

本发明借助于美国政府支持在美国内务部-国家商务中心，代表国防部机构-国防高级研究项目机构签订的合同No.NBCHC050090下形成。政府在本发明中具有一定权利。 

背景技术

各种传感器和观察系统是已知的。例如，各种类型的飞行器用来服务于现场地面部队，为他们提供与他们的任务目的相关的实时数据。如果有高分辨率要求，则空中平台可能按常规飞行得离地面很低。由于在低高度飞行可能更危险，所以常常使用无人飞行器(UAV)而非有人飞行器。一些UAV可以从现场发射，并且这种可携带性要求使平台很小并且重量轻。这导致较小的有效负载，限制机载传感器的复杂性。典型战术UAV包括Pioneer(先驱者)和ScanEagle(扫描鹰)。已经开发了较小UAV，如Dragon Eye(龙眼睛)和其它。这些飞行器可以在10K英尺以下飞行，并且可以具有100磅下的有效负载。 

随着传感器系统的能力提高，有管理大量图像数据的需要，如多视频流。具体地说，有能够识别和/或跟踪视频流中存在的目标的需要，同时校正观察平台的运动。尽管存在用来操纵和可视化从远程和/或空中传感器系统接收的图像数据的技术，但当前可得到的技术一般不具  有进行复杂图像操纵和变换的足够处理能力和/或带宽。 

附图说明

图1表示根据本发明实施例的用来处理图像数据的范例系统。 

图2表示根据本发明实施例的用于传感器处理模块的流程图。 

图3表示根据本发明实施例用来把数据从图像传感器提供给用户系统的功能方块图。 

图4表示根据本发明实施例用来组合视频流的范例方法。 

图5表示根据本发明实施例的范例固定-大小数据排列。 

图6表示根据本发明实施例的范例可变-大小记录数据排列。 

图7表示根据本发明实施例用来聚集视频流的范例方法。 

图8表示根据本发明实施例的范例用户接口。 

图9表示根据本发明实施例的范例用户接口。 

图10表示根据本发明实施例的范例用户接口。 

图11表示根据本发明实施例的用来显示图像数据的范例方法。 

具体实施方式

提供用来组合多个视频流的方法和系统。实施例中，视频馈入从多个光学传感器(如摄像机阵列)接收。视频馈入的每一帧的图像数据被用来把视频流组合成合成视频。为了创建合成视频，对于来自每个视频流的每一帧计算单应(homography)信息和/或角部元数据。这种数据用来把分离帧镶嵌成单个视频帧。每个图像的局部转换还可以用来使视频帧同步。通过识别在连续视频帧中出现的特征并使用该特征的预测运动来补偿外部移动可以解释传感器运动。实施例中，光学传感器由移动平台提供，移动平台可以是空中的，例如有人或无人监视飞行器。图像数据可从地面操作人员请求，并且从空中平台实时或在以后时间传输到用户。实施例中，合成图像和/或视频可动态地创建，这可以解释摄像机运动。 

各种数据排列可以被聚集系统用来串行化和/或多路复用从传感  器模块接收的图像数据。典型方法包括固定-大小记录排列和可变-大小记录排列。在固定-大小记录排列中，每个记录块可以是物理相关大小的倍数。 

提供图形用户接口以允许用户请求、观看、操纵图像数据，包括来自或包含在千兆像素图像中的数据。用户接口可以与各种其它系统通信，如与图像捕获和存储系统，通过发送请求被用户所请求的图像数据。各种重叠、图标及其它信息可以与从其它系统接收的图像数据一道呈现以把额外数据提供给用户，如活动水平别和目标运动。