[发明专利]对无特定标记目标物体跟踪、三维叠加及交互的方法及系统

权利要求书

1.一种对无特定标记目标物体实时跟踪、三维叠加及交互的方法，其特征在于，该方法包括以下步骤：

从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板或预知已知目标物体的特征模版；

利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息；

通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中，利用图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。

2.如权利要求1所述的方法，其特征在于，所述利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息以及通过图形引擎将虚拟物体或动画实时叠加在现实空间三维坐标系的实现方法为：

对采集到的某一帧视频图像Q，利用surf算法求解出与模板匹配的所有特征点P＝{p₁，p₂，...，p_n}，其中，p_i为图像Q中的特征点；

从全部匹配特征点P＝{p₁，p₂，...，p_n}中选择4个最准确的匹配特征点j_k∈{1，2，...，n}，k＝1，2，3，4，记录这些特征点的图像坐标值(u_i，v_i)，i＝j₁，j₂，j₃，j₄，并以其中一点为世界坐标原点，记录下其他特征点的世界坐标j_k∈{1，2，...，n}，k＝1，2，3，4；

利用世界坐标系的坐标与其投影点的像素坐标(u_i，v_i)之间的关系式计算相机的外参数矩阵H，其中，i＝j₁，j₂，j₃，j₄；

利用计算出的外参数矩阵H，在图形引擎中将当前视频帧图像作为三维引擎中三维场景的背景，在场景中所需要的位置渲染出三维模型，实现实时三维叠加；

利用图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。

3.如权利要求1所述的方法，其特征在于，该方法可对摄像机拍摄图像中多个目标物体进行计算，得出每个物体的三维信息，对多个目标物体进行三维叠加。

4.如权利要求1所述的方法，其特征在于，目标物体相对于摄像机的三维信息为目标物体相对于摄像机的三维实时位移及旋转角度。

5.一种对无特定标记目标物体实时跟踪、三维叠加及交互的系统，其特征在于，该系统包括：

特征模板建立模块，用于从摄像机拍摄的图像中分割出目标物体，并自动建立目标物体的特征模板，也可预置已知的特征模板；

三维信息计算模块，与所述特征模板建立模块相连接，用于利用目标物体的自身特征，直接对目标物体进行识别，并计算出目标物体相对于摄像机的三维信息；

三维模型叠加模块，与所述三维信息计算模块相连接，用于通过图形引擎将虚拟物体或动画实时叠加在现实的空间三维坐标系中。

6.如权利要求5所述的系统，其特征在于，所述系统还包括：

交互模块，与所述三维模型叠加模块相连接，用于通过图形引擎中的交互功能，实现三维叠加的虚拟物体和现实物体之间的交互。

7.如权利要求5所述的系统，其特征在于，所述三维信息计算模块进一步包括：

三维实时位移计算单元，与所述特征模板建立模块相连接，用于计算出目标物体相对于摄像机的三维实时位移；

三维实时旋转角度计算单元，与所述特征模板建立模块相连接，用于计算出目标物体相对于摄像机的三维实时旋转角度。