[发明专利]用于增强视频图像的设备和方法

说明书

技术领域

本发明涉及用于增强视频图像的设备和方法。

背景技术

典型的增强现实(或者“AR”)应用或系统接收实际环境的实况或记录的视频图像，且然后以下述方式以计算机图形增强这些视频图像，即计算图形显得在视频图像中以与实际环境的移动或位置一致的方式移动或定位。

效果是以一致和可信的方式将计算机图形(或者“虚拟物体”)插入实际环境中。优选地，这实时进行；就是说，以正常视频帧速率执行视频的生成和增强。可以在PlayStation或者的游戏中看到其示例。

大多数AR应用或系统通过在其外观和维度已知的环境中利用实际物体且随后预先将该物体的外观和维度编码为计算机中的基准模型来实现此。通过比较视频图像中找到的该物体的规模和定向与基准模型，计算机可以计算应该应用于用于增强该图像的虚拟物体的相应规模和定向。

为了在不利的光照条件下，或者在使用中的视频相机具有低分辨率时改进该处理的可靠性，通常使用的实际物体是所谓的参照标记800，其示例如图1所示。这种标记典型地具有高对比度边界和图形以改进对光照的鲁棒性，且图形典型地是非对称的以帮助解决标记的定向。

随后，AR应用对视频图像的增强通常将计算机图形定位于参照标记之上，以使得在用户实现信任的中止；例如，如果标记放置在平坦表面上，那么整个平坦表面可以与图形效果重叠(比如跑道或者运动场等)。在这种情况下，如果用户希望与该平坦表面顶部的实际或虚拟物体交互，那么AR应用能够标识用户的皮肤色调并在重叠的计算机图形与视频图像中用户的皮肤一致时省略(或遮蔽掉)该重叠的计算机图形，由此使得用户的皮肤(例如，用户的手)显得在图形层的前面。

但是，通常皮肤色调的标识的精确度可能相对差，导致用户的手在计算机图形上的过度渲染(noisy)或者不调和的遮蔽(patchy masking)。

发明内容

本发明寻求解决或缓解上述问题。

在第一方面中，根据权利要求1提供增强视频图像的方法。

在另一方面中，根据权利要求9提供娱乐装置。

在另一方面中，根据权利要求15提供增强的现实系统

本发明的另外的各个方面和特征在所附权利要求中限定。

附图说明

现在将通过参考附图以示例的方式描述本发明的实施例。

图1是参照标记的示意图；

图2是根据本发明实施例的娱乐装置的示意图；

图3A是根据本发明实施例的书的示意图；

图3B是根据本发明实施例的增强的书的捕获的视频图像的示意图；

图4A是根据本发明实施例的书的捕获的视频图像的示意图；

图4B是根据本发明实施例的遮蔽物的示意图；

图4C是根据本发明实施例的增强的书的捕获的视频图像的示意图；

图5是以计算机图形增强的捕获的视频图像的示意图；

图6是根据本发明实施例的遮蔽物的示意图；

图7是根据本发明实施例的增强视频图像的方法的流程图。

具体实施方式

公开了增强视频图像的设备和方法。在下面描述中，呈现多个特定细节以提供本发明实施例的全面理解。但是，对于本领域技术人员来说很明显不需要采用这些特定细节来实践本发明。相反地，为了清楚的目的在适当时省略本领域技术人员已知的特定细节。

如上所述，是用于实现增强现实的适当设备或娱乐装置，典型地当连接到比如EyeToy的适当的视频相机时，或者当在适当的软件控制(比如AR应用)下操作时。

图2示意性地图示已知为PlayStation娱乐装置或者的适当的娱乐装置的整个系统架构。PS3包括系统单元10，如下详细所述地，包括视频相机的外围装置可连接到该系统单元10。

系统单元10包括：单元处理器100；动态随机存取存储器(SDRAM)单元500；具有专用视频随机存取存储器(VRAM)单元250的现实合成器图形单元200；和I/O桥接器700。

系统单元10还包括通过I/O桥接器700可访问的用于从盘440读取的光盘读取器430和可拆卸插槽式硬盘驱动器(HDD)400。可选地，系统单元还包括用于读取致密闪存储存储卡的、储存卡等的存储卡读取器450，其类似地通过I/O桥接器700可访问。