[发明专利]通过跟踪行人从视频序列进行三维道路布局估计

说明书

技术领域

本发明一般涉及视频监控，并且更具体地说，涉及在三维(3D)场景中的对象移动分析。

背景技术

视频监控系统用于为人们和场所提供安全保障。在早期系统中，安全人员连续监视视频图像。在长期观察多个显示屏时，人们经常感到疲劳，并经常错过在监视场景的捕捉图像中发生的关注事件。为此，一些视频监控系统仅在受监视场景中发生变化时才捕捉图像。然而，这些系统仍需要安全人员的人工控制和观察。

最近，已开发出各种自动捕捉和分析图像的技术。计算机视觉已成为计算机科学研究的一个公认分支。然而，在开发监控系统中自动捕捉和分析图像的可行应用方面，仍有大量工作需要进行。

附图说明

从下面的本发明详细说明中将明白本发明的特性和优点，其中：

图1是根据本发明一个实施例的处理系统框图；

图2是根据本发明一个实施例示出一个对象从地平面投射到相机平面的图形；

图3是包括对象高度估计的场景样本图像；

图4是另一场景的样本图像；

图5是对应于图4场景的样本道路图；

图6是对应于图4场景的样本3D道路图；以及

图7是根据本发明一个实施例示出对象比例预测和道路图检测处理的流程图。

具体实施方式

本发明的实施例包括用于自动学习由单个未经校准的摄像机观察的室外场景三维(3D)结构的方法和系统。具体而言，通过在时间上观察行人并从视频画面序列中行人的高度和位置估计道路参数，可形成行人经过的道路和路径的3D布局估计。真实的室外视频实验显示，对于相机噪声、场景亮度变化、移动对象检测中的可能错误、道路覆盖变化和相机抖动，本发明实施例表现鲁棒。估计的3D道路图(达到一个比例因子)可用在需要校准相机与3D场景之间相对位置的计算机视觉应用中，如视频监控、人的活动识别和人的步态分析。

说明书对本发明“一个实施例”或“实施例”的引用是指结合该实施例描述的特定特性、结构或特征包括在本发明的至少一个实施例中。因此，在说明书通篇各个位置出现的“在一个实施例中”的短语不一定全部指同一实施例。

本发明处理两个相互关连的问题：所观察场景上的对象比例预测和道路图估计。第一个问题是如何估计场景中二维(2D)对象位置与对象比例之间的对应关系。针对此目的，使用对象的运动轨迹，估计将相机平面的相对位置反射到地平面的函数参数。本发明的实施例包括预测场景中对象高度的准确和鲁棒过程。

仅在移动对象的轨迹是在道路平面(即，地平面)上时才可准确地预测对象高度。本发明的实施例包括使用与场景中跟预测比例不冲突的移动对象有关的信息进行场景中道路检测的过程。视频画面中对象的近似位置可使用几种熟知的前景检测技术之一进行估计(例如，“从包含复杂背景的视频进行前景对象检测”(Liyuan Li，WeiminHuang，Irene Y.H.Gu和Qi Tian，“Foreground Object Detection fromVideos Containing Complex Background”，Proceedings of the eleventhAssociation of Computing Machinery(ACM)International Conference onMultimedia，MM2003，2003))。本发明实施例的道路图检测过程对于估计位置、场景亮度变化(例如，在白天时)、图像噪声及道路覆盖变化(例如，在场景上下雨或下雪后)中出现的误差表现鲁棒。

道路图检测过程无人管理，并能够在相机移动、部分场景变化和其它所观察环境改变的情况下进行自适应。在本发明作为一部分包括在内的视频监控应用中，道路图检测过程无人管理，使得无需操作人员或用户控制该过程。如果相机位置改变或者发生其它环境改变(如光照条件的改变)，则道路图检测过程能够通过自动更新3D变换参数而进行自适应。要产生正确的结果，该过程只需远方场景的由上至下的视图。该过程基于如下假设：移动对象是从对象(例如，人)大小的已知统计分布绘出，并且场景中的所有道路位于同一平面。这些假设在大多数视频监控任务中得到满足，如人的活动识别、人的步态分析、对象地理位置估计以及车辆跟踪和计数。地平面约束经常包含在现有监控技术中。

本发明的实施例组合了对象比例预测和道路图检测，以便产生在单个相机捕捉的场景中道路3D布局的准确、可靠结果。