[发明专利]在3D模型中结合视频元数据

说明书

技术领域

本发明涉及创建增强虚拟环境（AVE），该AVE利用对视频数据环境中所包含的目标的三维（3D）理解来增强两维（2D）视频数据。

背景技术

从2D视频数据流理解和确定各种目标运动的导入会很难，例如，一个人接近一个区域或者采取将那个人或其他人暴露于加剧的冒险风险中的某种动作。可能需要操作人员同时审查并分析多个监视器或显示窗口中的目标运动，而且视频数据的2D本质会使通过人眼进行的目标识别与跟踪很难，尤其是在视觉丰富或嘈杂的环境中。

如果2D视频数据在创建视频数据中所给出的目标的3D场景模型的增强虚拟环境（AVE）中提供，因为识别与跟踪3D目标固有地对人类观察员来说更加直观，则可以改进目标跟踪与识别。但是，为了适当地呈现3D模型，这种系统需要其它数据输入，例如来自其它照相机或其它设备，诸如范围、图像和/或目标跟踪传感器，的数据。

发明内容

在本发明的一种实施例中，一种通过3D模型表示2D视频数据中被跟踪目标的方法包括定位（localize）在校准后的摄像机的2D数据馈送的视场环境中被检测并且运动被跟踪的目标的质心。该摄像机被校准成把该摄像机放到摄像机视场环境的3D模型的空间高度、朝向与位置背景中。因而，确定质心与视场环境中的地平面的交叉点，并且通过使用作为质心和所确定的地平面交叉点的函数的、被跟踪目标的对应2D图像的反向投影（back-projection）来初始化适用于该环境的3D模型的空间背景中被跟踪目标的、基于3D网格的体积模型（volumetric model）。将2D图像数据中目标的被跟踪运动路径的非线性动态性表示为不同局部线性模型的集合。2D目标的纹理被投影到3D模型上，而且目标的2D轨迹被升级到3D运动，以便在基于动态网格的3D中驱动3D模型，在一方面中这是通过学习最小化模型运动的图像再投影误差（re-projection error）的不同局部线性模型的加权组合进行的。

在另一种实施例中，一种系统具有处理单元、计算机可读存储器和计算机可读存储介质设备，程序指令存储在计算机可读存储介质设备上，所述程序指令在被执行时，使处理单元定位在校准后的摄像机的2D数据馈送的视场环境中被检测和跟踪的运动目标的质心，并且确定该质心与视场环境中的地平面的交叉点，其中摄像机被校准成把该摄像机放在摄像机视场环境的3D模型的空间高度、朝向与位置背景中。程序指令进一步使处理单元通过使用作为质心与所确定的地平面交叉点的函数的、被跟踪目标的对应2D图像的反向投影来初始化适用于该环境的3D模型的空间背景中的被跟踪目标的、基于3D网格的体积模型。此外，程序指令还使处理单元把2D图像数据中目标的被跟踪运动路径的非线性动态性表示为不同局部线性模型的集合，把2D目标的纹理投影到3D模型上，并且通过学习最小化模型运动的图像再投影误差的不同局部线性模型的加权组合，把目标的2D轨迹升级到3D运动，以便在基于动态网格的3D中驱动3D模型。

在另一种实施例中，一种制造物品具有计算机可读存储介质设备，计算机可读程序代码包含在该计算机可读存储介质设备中，计算机可读程序代码包括指令，所述指令在被计算机处理器执行时，使计算机处理器定位校准后的摄像机的2D数据馈送的视场环境中被检测和跟踪的运动目标的质心，其中摄像机被校准成把该摄像机放在摄像机视场环境的3D模型的空间高度、朝向与位置背景中。所述指令还使计算机处理器确定该质心与视场环境中的地平面的交叉点，以及通过使用作为质心和所确定的地平面交叉点的函数的、被跟踪目标的对应2D图像的反向投影来初始化适用于该环境的3D模型的空间背景中被跟踪目标的、基于3D网格的体积模型。此外，所述指令还使计算机处理器把2D图像数据中目标的被跟踪运动路径的非线性动态性表示为不同局部线性模型的集合；把2D目标的纹理投影到3D模型上；以及通过学习最小化模型运动的图像再投影误差的不同局部线性模型的加权组合，把目标的2D轨迹升级到3D运动，以便在基于动态网格的3D中驱动3D模型。