[发明专利]一种移动可穿戴非接触式交互系统与方法

说明书

技术领域

本发明属于计算机视觉与人机交互技术领域，具体涉及一种移动可穿戴非接触式交互系统与方法。

背景技术

随着科学技术的发展，人们的生活越来越便利，家电的功能越来越强大，提供多种个性化服务；目前对家电的控制主要依赖于键盘和键盘按钮，随着越来越多的功能；繁琐的用户学习机制使得交互更加困难。为了使人与计算机的交流更加自然，使人与计算机的交流变得像人与人交流一样自然，应该充分调用人本身的各个感觉信息通道，如语音、手势、肢体动作等。

目前智能电视已经极为普及，与此同时智能电视控制技术也已经如火如荼，现有技术中，与智能电视的人机交互方案主要是通过智能电视机体上的固定摄像头和麦克风，而用户在观看电视时与电视往往有一定的距离，因此，该方案不仅缺乏可移动性而且存在资源浪费的弊端。

同时，智能电视的高清视频资源来自于电视机顶盒，随着用户需求的不断提升，机顶盒的功能越来越丰富，传统的遥控方案存在按键多操作复杂等影响用户交互的弊端，用户也越来越不满足于这一传统的交互方式。

因此，对于智能电视等智能家电，需要有一种能为用户提供个性化，更能贴近自然习惯的人机交互方式。

发明内容

为了克服现有技术存在的上述不足，本发提出一种移动可穿戴非接触式交互系统与方法，以增加用户体验。

本发明至少通过如下技术方案之一实现。

一种移动可穿戴非接触式交互系统，该系统包括图像采集模块、手势识别模块、嵌入式微控制器模块、语音采集模块、语音采集模块和骨传声模块，其中，

图像采集模块，捕获用户在操作移动可穿戴非接触式交互系统即本系统时做出的肢体动作信息，并将所述肢体动作信息发送到手势识别模块；

手势识别模块将上述肢体动作信息转化成动态图像序列，并对图像进行预处理，全屏搜索和识别用户手势，同时对手势进行肤色自适应跟踪，并将跟踪结果发送到嵌入式微处理器模块；

嵌入式微处理器模块将上述手势跟踪结果准确反映出手势位置并映射为控制指令，并通过网络实时将本系统的操作界面与上述手势位置和控制指令发送到功能终端；

语音采集模块用于实时捕获用户的语音输入信息，并将所述语音输入信息发送到语音处理模块；

语音处理模块对上述语音输入信息进行降噪处理，通过关键字识别出固定的控制指令语句，并将上述控制指令语句发送到嵌入式微处理器模块；

嵌入式微处理器模块进一步根据上述控制指令语音转化为相应的控制指令，并通过网络实时将上述控制指令发送到功能终端；

嵌入式微处理器模块还进一步根据用户和本系统的交互结果，将需向用户传达的语音提示信息发送到骨传声模块；

骨传声模块根据上述语音提示信息向用户播放相应的语音。

进一步的，所述嵌入式微处理器模块为移动终端或者计算机，尤其是一种基于可穿戴的移动终端或者计算机。

进一步的，功能终端包括USB控制器、电视机顶盒和电视机显示器，其中：

USB控制器包含WiFi发射接收模块和STM32主控制器，WiFi发射接收模块用于发射WiFi无线信号，与嵌入式微处理器模块建立连接，并将从嵌入式微处理器模块接收到的手势位置与控制指令信息发送到STM32主控制器；

所述STM32主控制器用于将上述手势位置与控制指令信息转化为相应的鼠标光标移动信息，然后再通过USB接口将所述光标移动信息发送至电视机顶盒；

电视机顶盒用于接收上述光标移动信息，并将上述上述信息发送到电视机显示器；

电视机显示器用于显示本系统的操作界面，并接收上述光标移动信息，并将光标显示出来。

进一步的，所述图像采集模块、手势识别模块、嵌入式微控制器模块、语音采集模块、语音处理模块、骨传声模块在物理上集成为用户可头戴设备或便携式可穿戴整体。

进一步的，所述图像采集模块为便携式可穿戴设备，固定于用户头部可捕获用户动作位置处。

进一步的，嵌入式微处理器模块根据用户手势位置和形态信息，确定对应于该用户手势位置和形态信息的交互操作命令，并实时发送至USB控制器；

所述USB控制器实时接收用户手势位置和形态信息，并实时向电视机显示器输出对应于用户手的指针元素的图像信号，从而使电视机显示器界面上的指针元素的运动轨迹与用户手运动轨迹保持同步。

一种移动可穿戴非接触式交互方法，其包括：

S1：图像采集模块捕获用户操作该系统时的肢体动作信息，肢体动作信息包括手势信息；