[发明专利]一种虚实结合的交互式输入方法、装置和存储介质

权利要求书

1.一种虚实结合的交互式输入方法，其特征在于，所述方法包括：

确定第一目标对象在实体空间中的位置，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域；

获取包含所述第一目标对象的RGB图像作为第一图像，截取位于所述第一位置区域内的第一图像作为第二图像，对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象；

将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域；所述第二位置区域展示有所述第一目标对象和位于所述第一目标对象上的第二目标对象。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在RGB图像上的投影所占据的第一位置区域，包括：

根据所述第一目标对象在实体空间中的位置和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标；

获取包含所述第一目标对象的RGB图像，根据所述第一目标对象在虚拟空间中的位置坐标和从虚拟空间到RGB图像的投影矩阵确定所述第一目标对象在所述RGB图像上投影占据的第一位置区域。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述投影矩阵；

所述确定所述投影矩阵，包括：根据头盔坐标系到RGB摄像头坐标系的转换矩阵、头盔坐标系到虚拟空间坐标系的转换矩阵和RGB摄像头的内参数矩阵确定从虚拟空间到RGB图像的投影矩阵；或者，采用外置跟踪器的方法计算从虚拟空间到RGB图像的投影矩阵。

4.根据权利要求1所述的方法，其特征在于，所述第一目标对象上设有跟踪器；

所述确定第一目标对象在实体空间中的位置，包括：获取所述跟踪器的位置信息，根据所述跟踪器的位置信息确定所述第一目标对象在实体坐标系中的位置坐标；

所述根据第一目标对象在实体空间中的位置、从实体空间到虚拟空间的转换矩阵和虚拟场景的渲染矩阵确定在虚拟空间中的第一目标对象对应的第二位置区域，包括：根据所述第一目标对象在实体坐标系中的位置坐标和从实体空间到虚拟空间的转换矩阵，确定所述第一目标对象在虚拟空间中的位置坐标，根据所述第一目标对象在虚拟空间中的位置坐标和虚拟场景的渲染矩阵确定所述第二位置区域。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行图像分割，获得位于所述第一目标对象上的第二目标对象，包括：

对所述第二图像进行二值化处理和轮廓提取，获得所述第一目标对象对应的轮廓，根据轮廓内面积滤除第一目标对象上的符号和噪声，获得所述第二目标对象。

6.根据权利要求1所述的方法，其特征在于，所述将所述第二目标对象与虚拟空间中的第一目标对象融合，融合后获得的图像投射在所述第二位置区域，包括：

将所述第二目标对象与虚拟空间中的第一目标对象进行叠加显示，获得虚拟空间中的第一目标对象和位于所述第一目标对象上的第二目标对象。