[发明专利]面向电视控制的指尖鼠标交互方法

说明书

技术领域

本发明涉及一种电视遥控技术，具体涉及面向电视控制的指尖鼠标交互方法和系统。

背景技术

近年来，随着三网融合和电视智能化发展趋势，电视迅速成为家庭的智能信息终端。这对电视的人机交互技术提出了新的要求。电视具备了上网，信息处理的功能。电视人机交互需要文字输入和鼠标点击功能。传统的利用红外线的按键式遥控器无法满足电视发展带来的新的交互需求。更智能化、自然的人机交互方式是电视的迫切需求，电视人机交互的研究成为一个研究热点。

现有技术存在的问题：

1. 目前的电视遥控器无论在外形还是输入的操作上都是千篇一律，各大电视生产公司的产品不能突出自己的特色。

2. 随着电视功能的多元化，遥控器的设计也越来越复杂，按键的急剧增加，使得电视的遥控操作越来越不方便。

3. 随着电器化设备的普及，各种设备会配有不同的遥控器，比如电视、空调、DVD、投影机等，电视用户会为了寻找遥控器而手忙脚乱。

4. 目前的手势遥控器还只满足于换台、调节音量这些简单的操作，还无法满足精确的指尖鼠标控制功能。

因此，提供一种利用指尖鼠标进行电视机遥控操作的方法以及利用该方法实现自然的人机交互遥控系统将是非常必要的。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种面向电视控制的指尖鼠标交互方法，由电视内置的处理芯片和图像采集装置构成的系统，通过手势图像采集、手势图像检测、食指指尖定位、操作指令执行四个步骤实现一种无需附属设备直接使用人手作为输入工具的自然的人机交互方法。

一种面向电视控制的指尖鼠标交互方法，其包括以下步骤：

步骤一，利用电视机内置的摄像头采集图像，获得RGB图像；

步骤二，对所述RGB图像进行灰度图转换得到灰度图像，同时保留原图像；

步骤三，对所述灰度图像进行直方图统计，然后进行灰度直方图均衡化；

步骤四，利用模板匹配的方法对手势的拳头图像进行检测，若未找到拳头图像，则返回步骤一，若找到拳头图像则记录下拳头外围矩形框的坐标；

步骤五，将灰度图像中的拳头区域映射到步骤二中保留的RGB图像中；

步骤六，对RGB图像拳头上方的食指区域和拳头区域进行HSV色彩空间转换；

步骤七，对拳头区域进行H分量直方图统计；

步骤八，根据拳头区域的H分量直方图统计结果设定阈值，继而对拳头上方食指区域的像素进行阈值处理，根据阈值处理后剩下的像素总个数来判断是否存在食指，若剩下的像素总个数没有达到预先设定的阈值, 则认为食指不存在, 同时返回步骤一，若剩下的像素总个数达到了预先设定的阈值, 则认为食指存在, 继而记录下食指轮廓坐标；

步骤九，利用食指的几何特征，对食指轮廓进行指尖定位，获得指尖的坐标值；

步骤十，根据指尖坐标的变化，产生虚拟鼠标指令，完成相应的人机交互操作。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤三中灰度直方图均衡化的目的是在不影响灰度图像整体对比度的基础上增强局部的对比度。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤四中的拳头图像检测包括特征提取与特征匹配，采用Haar特征框遍历整个图像进行检测，检测算法则采用AdaBoost算法，遍历框对拳头图像进行搜索，一旦特征匹配成功则跳出搜索步骤，进入下一步骤。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤六所述HSV色彩空间中，H分量描述物体的颜色类型，即色调；S为饱和度；V为亮度。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤八首先根据拳头区域H分量直方图统计的结果设定阈值, 利用拳头与食指的H分量分布一致性的特征, 继而可以对拳头上方的食指区域像素进行阈值处理。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤九中食指的几何特征为类圆柱特征。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤十中，根据指尖的滑动模拟鼠标指针的运动，根据指尖在某点的停留时间来模拟鼠标点击操作。

上述的一种面向电视控制的指尖鼠标交互方法中，步骤二至步骤九的处理过程都是通过FPGA来完成。