[发明专利]一种多模态触觉感知装置及其应用方法

权利要求书

1.一种多模态触觉感知装置，其特征在于：包括方盒单元，气泵单元，柔性触觉传感器单元，光源单元，图像采集单元和加速度采集单元；所述气泵单元与所述方盒单元通过管道连接，所述柔性触觉传感器单元设置在所述方盒单元上，所述光源单元设置在所述方盒单元侧壁上，所述图像采集单元设置在所述方盒单元底部，所述加速度采集单元设置在所述方盒单元底部；所述方盒单元为长方体空心外壳，所述外壳为黑色亚克力板材料制成，所述长方体有一面不封闭；所述的柔性触觉传感器单元包括帆布力触觉传感器和外围电路，所述帆布力触觉传感器安装在所述长方体不封闭一侧，所述外围电路外置；所述帆布力触觉传感器为纳米力敏材料与柔软的帆布结合，所述帆布力触觉传感器一共有五层，包括两层帆布层、两层薄膜层和纳米力敏材料层；所述光源单元包括RGB三个灯珠，分别用热熔胶贴在所述方盒单元三面侧壁；所述的图像采集单元为100万像素高清双目摄像头，安装在所述方盒单元底部；所述力敏材料层共有16个感应点区域，成4×4矩阵对称分布，每个感应点区域均匀分布等量纳米力敏材料。

2.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述气泵单元为自动充气装置。

3.如权利要求1所述的一种多模态触觉感知装置，其特征在于：所述加速度采集单元为基于MPU6050芯片的WT61C传感器，安装在所述方盒单元底部。

4.如权利要求1所述的一种多模态触觉感知装置的应用方法，其特征在于：包括以下步骤：

S1：首先12V通电，气泵开始工作并通过管道给装置内部充气，同时柔性触觉传感器单元上电开始工作；

S2：在柔性触觉传感器单元工作的同时，RGB光源单元持续提供红、绿、蓝三种光源，双目摄像头拍向当被测物与装置之间接触或者滑动时产生形变的帆布力触觉传感器，此时可以拍出被测物的形状信息，然后再通过上位机将拍到的RGB图像与深度图像保存为.jpg文件，加速度采集单元也通过串口持续输出加速度信息给上位机，上位机将所有加速度信息保存为.txt文件；

S3：利用长短期记忆模型循环神经网络算法，将触觉序列.txt信息，加速度序列.txt信息，RGB图像.jpg信息，深度图像.jpg信息集中分析，然后经过拟合，得到被测物形状信息。