[发明专利]一种基于数据手套使用自然手势进行精确三维建模的方法

摘要

本发明公开了一种基于数据手套使用自然手势进行精确三维建模的方法，该方法在手套外部加装LilyPad Arduino作为处理芯片，通过弯曲传感器、FSR402型电阻式薄膜压力传感器、JY‑901模块监测手部动作，通过LilyPad XBee与XBee 1mW Wire Antenna无线模块与计算机双向通信。通过与体感设备得到的手部坐标与运动数据进行融合，能够使计算机读懂人体自然语言，并将测量的精度达到接近鼠标的程度，从而能够使用户使用自然语言进行三维建模。

主权项

一种基于数据手套使用自然手势进行精确三维建模的方法，其特征在于，所述数据手套的手背中心处固定LilyPad Arduino，五个手指处分别固定长条形的弯曲传感器，每个弯曲传感器的引脚一端连接LilyPad Arduino的GND口，另一端连接LilyPad Arduino的模拟口，在LilyPad Arduino的5V口与模拟口之间连接阻值为10KΩ的分压电阻；在无名指指尖、中指指尖、食指指尖、食指第二关节靠近大拇指一边的侧面分别固定FSR402型电阻式薄膜压力传感器，每个FSR402型电阻式薄膜压力传感器的引脚一端连接LilyPad Arduino的GND口，另一端连接LilyPad Arduino的数字口，同时在LilyPad Arduino的5V口与数字口之间连接阻值为20KΩ的分压电阻，使得数字口的读数为FSR402型电阻式薄膜压力传感器的电压的模拟值的二值判定，当FSR402型电阻式薄膜压力传感器未被挤压时，数字口的读数为0；当FSR402型电阻式薄膜压力传感器受到挤压时，数字口的读数为1；在手背靠后位置固定JY‑901模块，所述JY‑901模块集成加速度计、陀螺仪和地磁场传感器；所述JY‑901模块的5V口、GND口、SCL口、SDA口分别连接LilyPad Arduino的5V口、GND口、SCL口、SDA口；在JY‑901模块的SCL口与LilyPad Arduino的5V口之间连接阻值为4.7KΩ的上拉电阻，在JY‑901模块的SDA口与LilyPad Arduino的5V口之间也连接阻值为4.7KΩ的上拉电阻；LilyPad Arduino与JY‑901模块之间使用IIC总线协议进行通信，JY‑901模块可测出手掌的动态欧拉角；在手掌掌心处固定LilyPad XBee，所述LilyPad XBee的5V口、GND口、rx口、tx口分别与LilyPad Arduino的5V口、GND口、D5口、D6口连接，从而读取LilyPad Arduino的数据；所述LilyPad XBee上加装2.4G的XBee 1mW Wire Antenna无线模块，所述XBee 1mW Wire Antenna无线模块采用802.15.4协议栈，通过串口与计算机进行双向通信，将接收到的LilyPad Arduino的数据传输给计算机串口，计算机端通过串口库进行读取操作；在手背中心靠后位置固定EB‑Vibrator震动马达，EB‑Vibrator震动马达的5V口、GND口和SIG口分别连接LilyPad Arduino的5V口、GND口和D9口，D9口的PWM输出功能可以调节EB‑Vibrator震动马达的震动强度；该方法具体包括以下步骤：(1)将微软公司生产的Kinect设备连接计算机，使用微软官方提供的Kinect API得到手部三维空间坐标以及手部运动的动态三轴加速度；(2)数据的采集及标注：首先为各个手势进行编号，利用串口读写库读取数据手套上弯曲传感器的手指弯曲模拟值，JY‑901模块得到的动态欧拉角，FSR402型电阻式薄膜压力传感器的数字口读数以及Kinect设备得到的手部三维空间坐标以及手部运动的加速度；为避免读入过多重复数据，设置数据读取间隔为20秒；完成所有数据的采集后，创建Excel表格train.csv，将数据写入train.csv；标注部分采用手工标注，打开train.csv表格，在每行的末尾为每个数据样本标上手势的编号；数据的采集采用Visual Studio平台来实现；(3)利用步骤(2)采集的数据训练一个基于随机森林模型的手势分类器：所述手势分类器是一个由n支决策树组成的树型分类器，其输出采用简单多数投票法，即输出n支决策树中出现最多的类；不同于一般的决策树，随机森林中每棵决策树并不利用数据点的所有特征，而是随机地从所有特征中取m个生成决策树；手势分类器使用基尼指数作为分割效果的度量，即每次决策树分裂时，选取所有可能分裂方法中基尼指数最小者；当叶节点中的数据都为同一手势类别，或叶节点包含的数据少于2个时，停止分裂；在此模型中，不对决策树进行剪枝；(4)使用Scikit‑learn机器学习库中的随机森林分类器：设置分类器的两个参数n，m分别为500和3，然后读入数据手套上的弯曲传感器的手指弯曲模拟值，JY‑901模块得到的动态欧拉角以及Kinect设备得到手部三维空间坐标以及手部运动的加速度进行训练，分类器的训练过程就此完成；(5)手势命令的识别：对于新的数据点，手势分类器将对其进行层级判断，具体为：先看4个二进制点击值中是否有数据，若有数据，则依据数据出现的位置即可判断用户的手势；若4个二进制点击值均无数据，则将据手套上的弯曲传感器的手指弯曲模拟值，JY‑901模块得到的动态欧拉角以及Kinect设备得到手部三维空间坐标以及手部运动的加速度读入已经训练完成的随机森林模型中；随机森林模型将数据读入后，按照每棵树训练时使用的3个特征，将数据的相应特征读入树中；每棵树再根据节点的分裂条件，将数据逐层分类至对应的叶子节点，并输出相应类；当500棵决策树都得到各自输出结果后，统计出得票最多的类，并将此类作为用户数据的对应手势；(6)将手势翻译为三维建模软件的命令，通过手势分类器得到对应手势后，将对应的命令通过脚本输入三维建模软件，三维建模软件根据得到的命令作出相应的模型；(7)将数据手套上的弯曲传感器的手指弯曲模拟值，JY‑901模块得到的动态欧拉角以及Kinect设备得到手部三维空间坐标以及手部运动的加速度作为参数传递给三维建模软件，以设定步骤(6)所得模型的平移、缩放、旋转参数，从而实现基于自然手势的精确三维建模。