[发明专利]一种基于视觉信息的游戏体感控制方法

说明书

技术领域

本发明属于计算机视觉和人机交互的游戏操控领域，尤其涉及一种基于视觉信息的游戏体感控制方法。

背景技术

随着计算机视觉领域的发展，人们与电脑之间的交互已经不仅仅局限于鼠标，键盘等硬件。基于计算机视觉的物体检测，识别问题渐渐进入人们的眼球，这种全新的人机交互方式使得人们对机器的控制更加自然。尽管在如今的电子市场上存在着多种多样的体感控制器，但多数由于价格因素使得爱好者望而却步。

现如今，全球三大厂商(索尼、任天堂、微软)的体感产品已经遍布全球，以其优越的性能，精致的画面博得了众多玩家的青睐，但是有Leap公司生产的新兴产品Leap Motion对上述厂家带来了强烈的冲击。以其使用平台的优势(针对于当今个人电脑系统平台Windows、Mac等)，吸引了大量游戏开发商的关注。Leap的另一大优点在于设备体型较小，在Microsoft推出其Kinect后，普遍认为针对电脑的手势以及运动设备体积与电脑本身相差不多亦或是稍微小于电脑本身。

发明内容

研发一个体感控制系统可以通过摄像头识别纸片木条等简单道具，可以虚拟成方向盘或枪支，控制游戏或其他应用程序。主要内容和要求包括：从视频流中分割轮廓画面，物体轮廓提取，物体跟踪等等。在这个任务下，完成了从计算机摄像头中读取图像，并对图像进行分析、处理，提取物体的信息并跟踪，从而通过物体运动来控制鼠标的操作。其步骤为：

1.从视频设备中读取帧图像。

2.获得每帧图像后，将其从RGB色彩空间转换到HSV色彩空间。

3.将转换到HSV色彩空间的图像分离为H，S，V分量(色调，饱和度，亮度)。

4.拷贝出H分量的两个副本，对五个分量(H_blue,H_red，H_green，S,V)进行阈值化。设定相应的数值范围以表示不同的色调，饱和度，亮度(H_blue范围为90～120，H_red范围为150～180，H_green范围为30～50，S范围为110～255，V范围为0～255)。分量中每个介于范围之外像素都会被设为0(即，更改为黑色)，范围之内的像素保持不变。

5.将H_blue分量，H_red分量,H_green分量分别与S分量，V分量进行按位与运算，得到三个不同颜色的8位图像掩模，记为mask_blue,mask_red,mask_green。

6.使用中值滤波对步骤5中得到的三个掩模进行平滑处理。

7.使用形态学的方法对掩模进行处理，过程为腐蚀——开运算——膨胀——闭运算,卷积核为3*3。

8.将原始输入图像分别通过掩模复制，得到三个不同色调的目标图像，记为img_blue,img_red,img_green。

9.使用三个不同的轮廓扫描器对三个目标图像进行轮廓扫描，扫描物体轮廓最小为5000像素。若img_blue图像中的物体轮廓大于5000，则将此轮廓信息记录到一个cvSeq序列中，记为Move_contours。若img_red图像中的物体轮廓大于2000，则向计算机发送一次鼠标左键点击指令。若img_green图像中的物体轮廓大于2000，则向计算机发送一次键盘中自定义键点击指令(可通过控制台窗口输入键值，如R键为82)。

10.若在步骤(9)中获得Move_contours序列，先利用Douglas-Peucker算法对轮廓进行逼近处理，再利用OpenCV中cvConvexHull2()的方法将序列Move_contour由几个点组成的多边形。遍历此多边形中的点，比较出点集中Y轴的极大值maxY，极小值minY,X轴的极大值maxX，极小值minX，计算出多边形中心点O(x,y)。若是该帧轮廓中心点与上一帧相比对偏移量大于5像素，则将中心点位置按比例投影到屏幕坐标系中，模拟为鼠标位置。

11.清理上述步骤中所调用的资源，清空该帧图像，进入下一帧循环。

附图说明

图1是图像分割流程图

图2是体感控制系统整体框架图

具体实施方式

体感控制系统总共分为三个层次：检测层、追踪层、响应层。检测层负责从视频图像采集设备中提取目标物体，并且过滤其他物体，主要为图像预处理和轮廓提取部分。追踪层负责跟踪目标物体的移动，在追踪层中同时获取了相应的模型参数以至于更好的了解物体在某时出现在某个位置，主要为物体追踪部分。响应层负责根据检测到的物体状态，对计算机申请不同的响应控制，主要为计算机控制部分。

1.图像预处理