[发明专利]双摄像头视频融合畸变校正与视点微调整方法及系统

说明书

本发明提出了一种双摄像头视频融合畸变校正与视点微调整方法及系统，包括：制作等比例模型，并使用反差大的单一颜色，注上标记点；在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；标定视频拼接参数、视点微调整参数；对所述两个环境摄像头同时刻拍摄的每组两帧图像进行操作。本发明解决了不同视点微偏差情况下真实设备在头戴式设备中显示的偏差问题，实现虚实一致性。

技术领域

本发明涉及图像处理技术领域，特别涉及一种双摄像头视频融合畸变校正与视点微调整方法及系统。

背景技术

混合现实技术(MR)中，怎样把实际环境中看到的场景和虚拟场景无缝融合，并且符合头戴式设备的视角和视野，以及使用习惯是一个新的技术难点。目前面临的有几个问题：第一，人眼看到的视角、头戴式设备的视角是不同的，视野宽度也是不同的；第二，采用单摄像头采集的视角和视野与人眼以及头戴式设备也是不同的。

一般采用广角摄像头来获取现实场景的视野在左右角度是足够的，但是在上下角度是有缺陷的，头戴式设备的上下视野远远大于摄像头的视野。假设视野这个问题得到解决的情况下，人的眼睛看到的实际场景中的影像和摄像头采集的影像由于视点位置不同，也是不一样的。没有合适的视点调整，会让人感觉到是在双面镜子中反射看到的物体。总是不能和实际进行关联，影响MR设备使用者依靠视觉和直觉判断来操作真实设备，不能达到虚实融合的目的。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种双摄像头视频融合畸变校正与视点微调整方法及系统。

为了实现上述目的，本发明一方面的实施例提供一种双摄像头视频融合畸变校正与视点微调整方法，包括如下步骤：

步骤S1，制作等比例模型，并使用反差大的单一颜色，注上标记点；

步骤S2，在头戴式设备的上方安装两个环境摄像头，利用所述环境摄像头拍摄图像并进行图像融合标定；

步骤S3，使用测量工具标定物理空间中VR头盔相对环境摄像头位置，并根据环境摄像头和头戴式设备视点的偏移距离，可以计算出环境摄像头在世界坐标系中的位置；

步骤S4，从所述两个环境摄像头中同时获取一幅当前图像，进行柱面投影操作，特征提取操作，模板匹配操作，渐入渐出技术融合，生成融合图片，对拼接后的图像进行畸变校正，标定视频拼接参数；将拼接后的图像，按照标定时获取的位置信息，进行透视变换，并将转换矩阵保存为视点微调整参数；

步骤S5，根据步骤S4中标定的视频拼接参数和视点微调整参数，对所述两个环境摄像头同时刻拍摄的每组两帧图像，采用以下操作：

获取两个环境摄像头的图像，按照标定好的视频拼接参数和视点微调整参数进行拼接和融合操作；

根据视点微调整参数来转换摄像头视点和虚拟场景摄像头视点的视觉偏差效果；

将映射校正后的图像，通过绿幕技术抠图，然后将虚拟场景集成到实际场景中；

将集成后的图像传输给头盔式设备显示。

进一步，每个所述环境摄像头采用广角摄像头，调整两个摄像头的朝向位置，其中一个朝向偏上方，另一个朝向偏下方，两个环境摄像头的视野交叉并且按照实际需求，其中，融合视野大于头戴式设备的视野，融合后的视野中间方向近水平方向。

进一步，在所述步骤S5中，拼接和融合操作包括：柱面投影、特征提取、模板匹配、拼接融合和畸变校正操作。