[发明专利]集成可贴附柔性拉伸传感器和惯性传感单元的可穿戴式手语识别系统与方法

说明书

本发明提供一种集成可贴附柔性拉伸传感器和惯性传感单元的可穿戴式手语识别系统与方法，该系统包括：柔性拉伸传感器，贴附于人体右手手指关节位置，用于监测手指的弯曲运动；惯性传感单元，贴附于手背位置，用于监测手在空间中的运动；柔性采集电路，与每个传感器数据通讯；手语识别系统，接收从柔性采集电路传输的传感数据，并据此判断手是否处于活动状态，以及在活动状态下，基于预先训练的基于CNN的第一识别模型，识别输出手语动作。本发明采用贴附性好、佩戴方便的附柔性拉伸传感器，结合惯性传感单元感知可实现对手腕、手臂在空间中的运动进行传感，融合弯曲特征和手部的运动状态特征，对复杂的动作进行快速准确的响应和识别。

技术领域

本发明涉及智能可穿戴设备技术领域，具体而言涉及一种集成新型可贴附柔性拉伸传感器和惯性传感单元的可穿戴式手语识别系统与方法。

背景技术

手语是通过手、表情和身体传达的语言形式，主要通过视觉感知进行识别。然而，如果没有手语的事先知识，非手语使用者很难接受和理解这种对话媒介。由此，在手语使用者和非手语使用者之间造成了沟通障碍。

目前，现有技术尝试使用可穿戴电子设备等辅助手段来帮助在手语使用者和非手语使用者建立沟通和感知，可穿戴电子设备重量轻、成本低、灵活性高和适应性强等优点，使其可以通过可穿戴手语翻译设备的形式为这一通信障碍提供技术解决方案。

在手势的监测领域，常用的传感器有柔性力学传感器(压力、应变等)、肌电信号传感器、图像传感器等。例如，公开号为CN110491251A的中国专利申请公开的一种标准化手语模拟智能手套，在监测时仅通过柔性传感器监测手指的弯曲，无法监测手在空间中的运动，丢失了重要信息。又如公开号为CN110189590A的中国专利申请公开的一种自适应校正式手语互译系统，采用了弯曲传感器和加速度计，用手套的方式承载所有传感器，但是商用的弯曲传感器并不轻薄，不具有很好的柔软性，手套佩戴不够舒适。

因此，为了解决手语使用者和非手语使用者之间的沟通障碍，需要一些更加有效的辅助工具，以轻便，高效，灵活的方式帮助使用手语的聋哑人士与外界沟通。

现有技术文献：

专利文献1：CN110491251A一种标准化手语模拟智能手套

专利文献2：CN110189590A一种自适应校正式手语互译系统及方法

专利文献3：CN109613976A一种智能柔性压力传感手语识别装置

发明内容

鉴于现有技术存在的缺陷，本发明旨在提出一种集成可贴附柔性拉伸传感器和惯性传感单元的可穿戴式手语识别系统与方法，采用新型的可贴附柔性拉伸传感器，贴附性好，佩戴方便，不会对佩戴者造成不适感或者动作阻力影响，不影响佩戴者本身的动作，而且具有较佳的动态性能和灵敏度，可以对复杂的动作进行快速且准确的响应；同时结合惯性传感单元感知可实现对手腕、手臂在空间中的运动进行传感，融合弯曲特征和手部的运动状态特征，一方面实现动作的判断，另一方面基于融合的特征进行卷积神经网络手语识别模型的训练，在实际使用时快速、准确地获得手语识别动作的意义，实时输出手语识别结果。

根据本发明目的的第一方面，提供一种集成可贴附柔性拉伸传感器和惯性传感单元的可穿戴式手语识别系统，包括：

贴附于人体每个手指的关节位置的柔性拉伸传感器，用于监测手指的弯曲运动；

惯性传感单元，贴附于手背位置，用于监测手在空间中的运动；

柔性采集电路，与每个柔性拉伸传感器以及惯性传感单元数据通讯；

手语识别系统，被设置成接收从所述柔性采集电路传输的传感数据，并据此判断手是否处于活动状态，以及在活动状态下，基于预先训练的第一识别模型识别输出手语动作。