[发明专利]多模态菱形框架式电容感应手势识别系统

说明书

一种多模态菱形框架式电容感应手势识别系统，采用深度学习框架下的手势空间电容值分析。其中电容采集模块FDC2214是面向电容式传感解决方案的抗噪声和EMI、高分辨率、高速、多通道电容数字转换器，该器件采用创新型抗EMI架构，即使在高噪声环境中也能维持性能不变。与传统电容转换IC简通过外面电容对正弦波滤波，读取一个直流分量去估算电容值不一样，FDC2214是通过驱动LC谐振槽，获得谐振频率。结合空间电容数据，设计了空间电容值与图像数据的神经网络融合算法，将多元数据进行融合处理，实现多模态下的空间手势准确分类。将菱形框架式空间电容式传感器的空间电容数据采集有效应用于机器学习和深度学习中，可充分解决空间内姿态的分类问题。

技术领域

本发明属于计算手势识别技术领域，涉及一种多模态菱形框架式电容感应手势识别系统

背景技术

近年来机器语言、人机交互越来越流行。手势识别是人机进行交互的一种方式，它在人民的生活中逐渐运用与流行起来，计算机的发展给手势识别提供了强大的计算平台，使得人与计算机的交互活动越来越频繁。其目的是运用计算机通过某种手段分析出每个手势的具体含义，进而获知手势发起者的整个表达，以达到实现人机交互的目的。电容式传感是一种低功耗、低成本且高分辨率的非接触式感测技术，可以用于雨、雾、冰、雪等物体状态变化的检测。

电容式传感系统中的传感器可以采用任意金属或导体，因此可实现高度灵活的低成本系统设计。FDC2214是德州仪器(TI)推出的一款面向电容式传感解决方案的抗噪声和EMI、高分辨率、高速、多通道电容数字转换器，该器件采用创新型抗EMI架构，即使在高噪声环境中也能维持性能不变。传统电容转换器通过外部电容极板对正弦波滤波，读取一个直流分量去估算极板间电容值，FDC2214是通过驱动LC谐振槽，获得谐振频率，从而得到对应的电容数值。

目前手势的识别集中以接触式识别为主流，在非接触式的识别上还存在一系列不准确性。在不接触识别时人手摆放位置将产生不同的测量值。以往手势识别大部分是在视觉图像信息的基础上进行的，并且大部分是静态手势识别技术，并且基本上是运用传统的摄像头所得到的彩色图像展开研究。因为输入的数据及信息存在差异性，因此识别的方式同样存在差异。而本专利集中考虑了对人手悬空上的物理设计，搭配特殊的菱形框架式电容数据采集，拟合比对处理，滤波算法处理，多元数据融合等，主要解决了通过机器学习后对手势准确判别的问题。针对解决静态手势具有旋转、大小和平移的可变性及差异性问题

发明内容

本发明此结构将有利于采集框架立体空间内的细微电容值变化，实现手势的实时识别。MCU将采集到的数据进行清洗，对处理后的数值作进一步的卡尔曼滤波算法等滤波算法处理，以得到趋于稳定的容值数据，从而将电容值上传上位机，融合手势视觉图像数据与电容数据实现多模态手势识别，设计空间电容值与图像数据的神经网络融合算法，实现对手势的识别模型训练测试。

本发明解决上述技术问题采用以下技术方案：

多模态菱形框架式电容感应手势识别系统

一种多模态菱形框架式电容感应手势识别系统，包括二个部分内容：

第一部分：本发明基于TI(德州仪器)的FDC2214芯片外接菱形框架式空间电容传感器，用铜箔外框结构将作为闭合电容极板，收集框架内电容采样值，通过I2C接口传送至外机控制板MCU(Arduino mega2560)。

FDC2214电容数字转换器的四个通道CH0、CH1、CH2、CH3分别接出来，连接到菱形框架的铜箔板上，做成一个具有4路采集信号的菱形框架传感器，如图2。每个面有一路信号采集，两路信号作为一对相对电容极板。

嵌入式处理器Arduino mega2560有两路I2C接口，对4路电容信号的传感器数据完成串口通讯，并将数据进行LED实时可视化。采集到的信号通过I2C接口连接到ArduinoMega2560板上进行滤波处理。Mega2560将预处理后的数据通过UART通讯传输到上位机，实现与图像数据的融合处理。