[发明专利]基于单目视频的三维游戏交互系统

说明书

技术领域

本发明涉及基于视频的运动捕获技术领域，特别涉及基于单目视频的人体运动捕获技术。

背景技术

当前，电子游戏产业高度发展，对越来越多人的娱乐方式，甚至是生活方式产生了巨大影响。随着电子游戏产业的飞速发展，开发人员更多地将他们的工作重点转移到游戏的人机交互体验上来，而游戏的控制信号的输入方式是其关注焦点之一。用户借助于各类的输入设备，如键盘、鼠标、手柄等游戏控制器来控制游戏，由于用户的操作在游戏中的实际表现有较大的不同，所以游戏的真实感、沉浸感比较差。近年来，方向盘控制器、运动遥感控制器等设备的出现在一定程度上提高了游戏的交互体验，但是仍然要求用户在游戏进行过程中必须使用或携带它们，对用户的运动附加了额外的妨碍和限制，而且这些控制设备需要特殊的传感器硬件。基于视频的人体运动捕获技术为这一问题提供了一种解决途径。

基于视频的人体运动捕获是指从一个视角或多个视角已同步的图像序列中恢复出人体姿态参数(关节点位置或关节角度)的过程，这里的姿态指头、躯干和四肢的运动，不包括表情和手语等小尺度动作。随着计算机视觉理论研究的发展，基于视频的人体运动捕获正从理论研究走向实用化，特别是近年来在电子游戏产业中有着广阔的应用前景。采用这种技术的游戏系统，不需要传感器，玩家只需在摄像头前作出动作，系统即可识别。代表系统有SCE公司EYETOY和微软公司的Kinect，EYETOY的原理是：摄像头以固定的速率采集图像，当场景内无变化时，前后两幅图像内容一致，当有物体运动时则产生差异，因此通过简单的对相邻两帧图像相减，得到画面中不同的部分，即可以感知是否有运动物体及运动物体的一些属性，比如大小，位置和颜色等。而Kinect则更为高级，它使用激光散斑(laser speckle)来获得摄像头面前玩家的三维动作信息，在2米范围内其精度可以到达1厘米。

发明内容

基于上述现有技术存在的问题，本发明提出一种基于单目视频的三维游戏交互系统，即采用单个普通摄像头捕获人体的运动信息，然后将视频数据交给电脑上运行的游戏软件进行分析处理，并由游戏软件输出相应的反馈信息，从而实现人机交互功能。

本发明提出了的一种基于单目视频的三维游戏交互系统，该系统包括：

运动捕获模块，该模块用于处理摄像头的视频输入数据，然后输出三维模型的运动数据，游戏主系统提取运动数据并根据它们来驱动玩家模型，该模块包括以下处理：

首先在程序中加载指导者的骨骼模型，记录两组数据：一组是身体关节点的二维坐标，另一组是与此二维坐标在同一时间片的模型的各个骨骼的三维转角数据，将得到的三维转角数据存入文件，供以后匹配时调用；

游戏进行过程中，不断获取摄像头的视频数据流，处理图像得到关节点位置并将该数据转化成多张连续图片，然后将图片转化成为人体关节点的二维坐标数据，将二维坐标数据与上文中提到的数据文件中的二维坐标数据进行比对，找出相似的数据，得到该时间片上的三维骨骼转角数据，驱动玩家模型做出三维动画表现出来的动作；

以及三维引擎模块，作为该系统的主模块，用于处理与3D绘制相关的所有工作，它提供了一些与Ogre引擎相关的接口。

该系统还包括关卡模块，作为数据模块，主要用于将用户选择的数据进行存储和传递，这些数据包括人物模型、场景数据、音乐数据等。

该系统还包括音乐模块：负责在用户选择音乐和进行舞蹈的时候，进行音乐的播放和控制。

该系统还包括文件控制模块，用于读取文件，并把文件内容提交给需要的游戏模块，主要是关卡模块和音乐模块；它提供了一个特制的接口用于获得文件名。

该系统还包括用户界面模块：用于绘制用户接口，游戏的主模块通过调用它来实现用户界面的绘制并获得用户指令。

该系统每隔1/10秒从运动捕获模块中获取一次当前时间片上的三维骨骼转角数据，然后和上一帧组合生成一段长度为1/10秒的动画，然后播放该动画。

与现有方法相比，本发明的有益效果是：游戏玩家可以不必配置特定体感游戏系统，仅使用自己现有的电脑和摄像头就能体验体感游戏的乐趣；同时希望本发明能为更多交互式电子游戏的设计提供参考思路。与采用以Kinect为代表的专门外设的游戏系统相比，本发明的优势在于：将关键的交互功能由软件实现；一般电脑都配有摄像头，设备简单易得。这样，当玩家想进行交互式电子游戏时，不需购置专门设备，就能体验体感游戏的乐趣。

附图说明

图1为本发明实施例的硬件环境示意图；

图2为本发明的硬件位置关系示意图；