[发明专利]服务于盲人的交互式手势识别系统

说明书

技术领域

本发明是一种移动设备上的交互式手势识别系统。基于移动设备内部的加速度传感器，为用户提供一个最原始最直接的人机交互方式。GRIB手势识别系统能够识别出用户自定义的手势，可以动态的添加用户自定义的手势，使得系统自适应性更强。GRIB手势识别利用一种快速高效的算法实现手势匹配。GRIB手势识别系统能够广泛的部署到已有的智能手机中，不需要额外的硬件，能为使用者尤其是为残疾人带来诸多的便利。

背景技术

随着电子产业的飞速发展，类似于智能手机这样的移动设备在常规计算中扮演着越来越重要的角色。现今的智能手机具备许多传感器和强大的处理器，可以利用其实现一些更为自然舒适的人机交互形式。根据世界卫生组织的调查，全球范围内有两亿八千五百万人有视力障碍，其中三千九百万是盲人，两亿四千六百万是视力损伤。现在，越来越多的移动设备步入了我们的日常生活。盲人也有使用那些设备的愿望，但是他们现在更多的使用来控制设备。其中的代表是苹果的Siri和Google Now。但基于声音的控制系统很容易受到环境的影响，特别是在嘈杂的公共场合。并且对盲人来说在公共场合通过声音进行控制安全性不能保证。而GRIB手势识别系统为盲人提供了一种用户友好的、安全的方式去控制他们的设备。

GRIB手势识别系统只利用移动设备内部的加速度传感器信息，从而可以广泛部署在当前的智能手机上。与传统的人机交互形式相比,GRIB使盲人更自然更方便的来控制他们的移动设备。除此之外,该系统可以作为一个身份安全的验证机制,在一定程度上保护用户的隐私。GRIB可以实现准确识别而又不需要大规模训练样本，避免费力和耗时训练集的收集过程，也能降低部署成本。更重要的是，系统可以构建基于用户的个性化手势识别库。

GRIB的核心是实现样本和和预先定义的手势之间的匹配算法。这个算法既简单又高效，它利用手机上的加速度数据形成手势，规范化加速度数据获得有价值的移动，用统计方法与之前的手势库进行匹配。GRIB的算法的复杂度是O(n)，可以在移动设备上快速运行，给需要这个应用的人群提供更好的交互式体验。

在先前使用加速度计的手势识别的研究中，隐马尔科夫模型(HMM)是最主要的方法。但是方法经常遭受费力和耗时的训练集收集过程并且HMM方法的性能紧密依赖训练集的大小。在不同的场景中，用户有必要创建个性化的手势。在那些应用中由于缺乏足够的训练样本去建立一个库用作以后的匹配HMM模型是不能进行高精度的识别的。因此，HMM的这个缺点限制了执行手势识别的瞬时性。

动态时间规整(DTW)方法是另一种利用加速计进行有效识别手势的技术。与HMM不同他 不需要太高的调度负担且只需要一些训练数据。为了提高传统基于模板的方法通常不能弥补手势细微变化执行时间，DTW弥补时间序列的差异。DTW能够非常有效的处理有限的训练数据。不过，计算DTW需要O(n²)。对有限计算能力的设备来说进行实时过程的处理是有点困难的。

发明内容

本发明提出了一种服务于盲人的手势识别系统，试验测试表明该系统具有高达96％的识别率。GRIB手势识别系统能够广泛的部署到已有的智能手机中，并且不需要额外的硬件。能为使用者尤其是为残疾人带来诸多的便利。

A、数据收集 

我们从智能手机上的加速器收集数据，由于带有不同传感器的智能手机越来越受欢迎，用户不用接受训练就可以很容易收集大量的传感器数据。点击触摸屏，用户可以在空中画出一个字符或一个词，甚至一个简单的图形，并且可以自行设计。与此同时，手机上的应用程序将自动从加速器收集数据。完成画图时，用户应该再次敲屏幕，数据收集过程就会停止，数据将以一个特定的方式存储起来。图1显示了三轴加速器。

B.手势匹配

手机用户完成收集数据后进行数据匹配。从传感器上新收集的数据将匹配之前存储在手机上的数据。前面是一个手势数据是用户自己设计的特定的操作。如果从传感器收集的数据匹配我们之前提出的方法定义的手势，用户做出同样的手势，手机将执行相应的行为。

C.手势的设定和在线处理

为了在手机上实现手势识别系统，用户必须首先设置相应的手势操作。设置过程和匹配过程一样，收集相同的数据，以相同的方式存储以匹配相同的手势。

系统亦可以在线匹配。当用户完成手势时，将传感器数据上载计算分析是否匹配先前的手势。然后将计算结果发送给用户，用户将收到一个声音通知匹配结果。

附图说明

图1手机上的三轴加速器

图2手机的加速度和位移时间图；