[发明专利]一种基于混合现实头显的人机交互虚实融合方法及装置

权利要求书

1.一种基于混合现实头显的人机交互虚实融合方法，其特征在于，包括：

获取相机的内参数矩阵M_内和外参数矩阵M_外；

根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{P_ori，R_ori}和实体相机相对于追踪原点之间的位姿关系t_related；

使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M′_外＝T(P_ori，R_ori，t_related)获得相机的外参数M′_外，其中T(*)表示通过P_ori，R_ori，t_related转换得到相机的外参数矩阵；

根据所述相机的内参数和外参数，获得融合后的图像。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{P_ori，R_ori}和实体相机相对于追踪原点之间的位姿关系t_related之后，所述方法还包括：

对MR设备上一对实体相机进行标定，获取相机的内参数M′_内。

3.根据权利要求1所述的方法，其特征在于，所述根据所述相机的内参数和外参数，获得融合后的图像包括：

依照所述相机内参数M′_内和外参数M′_外，在虚拟场景中构建与之完全相同的虚拟相机，并将所述虚拟相机的内外参数记为M″_内和M″_外；

对虚实相机之间的匹配关系进行校正，保证虚实相机运动完全同步、位姿完全相同；

根据矫正后的匹配关系，进行图像融合操作。

4.根据权利要求3所述的方法，其特征在于，所述根据矫正后的匹配关系，进行图像融合操作包括：

使用多相机系统获取人体关节点的三维位置信息A；

使用MR头显上的实体相机拍摄真实场景图像P；

使用与MR头显上实体相机匹配的虚拟相机拍摄虚拟场景图像P’。

5.一种基于混合现实头显的人机交互虚实融合装置，其特征在于，包括：

获取模块，用于获取相机的内参数矩阵M_内和外参数矩阵M_外；

坐标模块，用于根据所述内参数矩阵和外参数矩阵获取MR设备的追踪坐标系相关信息{P_ori，R_ori}和实体相机相对于追踪原点之间的位姿关系t_related；

计算模块，用于使用MR设备追踪设备及头显上相机相对于追踪原点的位姿关系，利用公式M′_外＝T(P_ori，R_ori，t_related)获得相机的外参数M′_外，其中T(*)表示通过P_ori，R_ori，t_related转换得到相机的外参数矩阵；

融合模块，用于根据所述相机的内参数和外参数，获得融合后的图像。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

标定模块，用于对MR设备上一对实体相机进行标定，获取相机的内参数M′_内。