[发明专利]多模态菱形框架式电容感应手势识别系统

权利要求书

1.一种多模态菱形框架式电容感应手势识别系统，其特征在于，

第一部分：建立基于TI的FDC2214 芯片外接菱形框架式空间电容传感器；

FDC2214电容数字转换器的四个通道CH0、CH1、CH2、CH3分别接出来，连接到菱形框架的铜箔板上，做成一个具有4路采集信号的菱形框架传感器；每个面有一路信号采集，两路信号作为一对相对电容极板；

嵌入式处理器Arduino mega2560有两路I2C接口，对4路电容信号的传感器数据完成串口通讯，并将数据进行LED实时可视化；采集到的信号通过I2C接口连接到ArduinoMega2560板上进行滤波处理；Mega2560将预处理后的数据通过UART通讯传输到上位机，实现与图像数据的融合处理；

分类训练过程中，自定义10类不同的手势，分别定义为“石头”、“剪刀”、“布”、“1”、“2”、“3”、“4”、“5”、“6”、“7”，菱形框架式空间电容传感器数据采集方式为将手势放置到菱形框架式空间内即可；

第二部分：电容感应手势识别；

第一步：Arduino Mega2560采集菱形框架式空间电容传感器四通道极板的电容数值，并进行卡尔曼滤波处理；

第二步：通过LCD显示屏分别显示处理后的不同手势的模拟量，通过UART上传至上位机，并记录存储下来；

第三步：运用PS3采集存储手势的图像数据，手势图像数据与相应手势的空间电容数据对应；

第四步：运用空间电容值与图像数据的神经网络融合算法，对神经网络分类模型进行训练，并对模型进行保存；所述的空间电容值与图像数据的神经网络融合算法为：基于菱形框架电容式传感器建立手势电容数据集，其中包含3000个手势样本和对应的空间电容数值样本；每个样本由一幅在复杂背景下拍摄的手势图像和一组4通道电容数据组成，这些数据来自于一只手以某种手势在菱形框架空间内的电容值和视觉所对应的图像；

第五步：对电容数据和图像数据进行训练，然后检验模型的泛化能力以及手势识别的准确性。

2.如权利要求1所述的一种多模态菱形框架式电容感应手势识别系统，其特征在于，连接CH0、CH1、CH2、CH3与铜箔板的导线为不大于10CM的屏蔽线。