[发明专利]一种动态手势识别方法、手势交互方法及交互系统

说明书

本发明公开了一种动态手势识别方法、手势交互方法及交互系统。其中，交互系统包括：动态视觉传感器，适于基于视场中对象和动态视觉传感器的相对运动而触发事件，并输出事件数据流给手部检测模块；手部检测模块，适于对事件数据流进行处理，以确定手部初始位置；手部跟踪模块，适于基于手部初始位置，在事件数据流中确定出一系列指示手部运动状态的状态向量；手势识别模块，适于基于所获取的状态向量所指向的事件数据，构建事件云，并利用基于点云的神经网络，对事件云进行处理，以识别出手势类别；指令响应模块，适于基于所识别的手势类别，执行相应的操作指令。本发明一并公开相应的计算设备。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于动态手势识别的人机交互方法。

背景技术

人机交互系统通过研究人与计算机之间的相互理解与通信，在最大程度上为人们完成信息管理、服务和处理等功能。从最初的基于传统的硬件设备的交互，比如鼠标、键盘，到现如今的基于计算机视觉的人机交互系统，人机交互的发展非常迅速。

其中，基于计算机视觉的人机交互系统，典型的有基于语音识别的人机交互，最具代表性的是苹果公司推出的Siri；基于动作识别的人机交互，最具代表性的是微软的Kinect；和基于眼球的人机交互，最具代表性的是Magic Leap公司的Magic Leap One AR眼镜。在基于动作识别的人机交互技术中，一种广泛应用的方法为，在图像中对人手进行检测和跟踪，并提取手部特征对静态手势进行描述。之后，通过识别出静态手势，来根据手势执行对应的指令。但这种方法受限于数据帧率的影响，响应时间较长，同时，由于步骤多、过程繁琐，这种方法在算法处理时计算负载高、且功耗高。此外，传统的人机交互系统需要与硬件平台集成在一起，安装比较复杂。

基于上述问题，需要一种新的基于动态手势识别的人机交互方案。

发明内容

本发明提供了一种动态手势识别方法、手势交互方法及交互系统，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种动态手势跟踪方法，包括步骤：按照预定时间间隔，对来自动态视觉传感器的事件数据流进行处理，以生成一系列事件累积图；基于事件累积图，确定出手部初始位置；以与手部初始位置对应的事件累积图相邻的下一事件累积图为初始帧，基于手部初始位置，从初始帧中确定出手部测量位置；以及结合手部初始位置和手部测量位置，分别确定出各事件累积图中指示手部运动状态的状态向量。

可选地，在根据本发明的方法中，基于事件累积图，确定出手部初始位置的步骤包括：针对一个事件累积图，确定事件累积图中的高能量密度点；利用目标检测网络，从该事件累积图中确定出至少一个手部检测区域；以高能量密度点为中心，按照手部检测区域的尺寸，对应生成至少一个矩形区域；分别计算矩形区域与手部检测区域的重合率；若重合率大于预设值，则将高能量密度点的位置作为手部初始位置；若重合率不大于预设值，则从下一事件累积图中计算出高能量密度点和手部检测区域、并根据手部检测区域与矩形区域的重合率来确定出手部初始位置。

可选地，在根据本发明的方法中，针对一个事件累积图，确定当前事件累积图中的高能量密度点的步骤包括：利用该事件累积图和与其相邻的至少一个事件累积图，生成能量密度图；将能量密度图分成多个尺寸相同的区域；根据各区域内像素值之和以及像素值为非零的像素的个数，分别确定出对应区域的能量密度；从所有区域中去除能量密度不符合预定条件的区域，得到剩余区域；在剩余区域内，选取能量密度最大的区域，并计算所选区域中像素坐标位置的均值，作为高能量密度点。

可选地，在根据本发明的方法中，以与手部初始位置对应的事件累积图相邻的下一事件累积图为初始帧，基于手部初始位置，从初始帧中确定出手部测量位置的步骤包括：基于手部初始位置，在初始帧中确定出第一搜索区域；通过依次判断初始帧中的事件数据是否处于第一搜索区域，来迭代更新第一搜索区域，得到至少一个新的第一搜索区域；利用第一搜索区域和所有新的第一搜索区域，得到第一搜索区域的集合；根据在第一搜索区域的集合中的所有事件数据的数量及其坐标位置，确定出手部测量位置。