[发明专利]基于卷积神经网络结合超高斯去噪估测手指受力的方法

说明书

技术领域

本发明涉及计算机视觉以及深度学习的研究领域，特别涉及一种基于卷积神经网络结合超高斯去噪估测手指受力的方法。

背景技术

为充分提高机器人手握力的稳定性、丰富其操作能力，人手经常被用作范例。而为达到估测人类的手指握力的目的，机器要理解人在抓握和操纵中的力度。对于人手抓握行为的分析和研究能够被用来发展基于阻力对抗的机器手在抓握过程中的操作技巧和力量。目前的研究多集中于手指的位置，这些研究为确定在抓握过程中手指的位置提供了关键信息，但很少有研究涉及估测手指力。目前已有的少量方法中，多使用只能简单估测表面力量的力敏电阻器，导致只能从一个预先定义的地方预测全力，所得数据非常有限；或者使用非自然的手套，该方法虽然可以得到相对全面的力学信息，但结果常常是受限的。

发明内容

本发明为了解决现有技术中存在的问题，提供一种基于卷积神经网络结合超高斯去噪估测手指受力的方法来全面准确估测手指力。

为了达到上述目的，本发明提出的技术方案为：一种基于卷积神经网络结合超高斯去噪估测手指受力的方法，包括以下步骤：

步骤一、利用固定的成像源相机拍摄手指的二维图像；

步骤二、利用超高斯法对步骤一中拍摄的图像进行去噪处理；

步骤三、对处理过的二维图像构建三维手指模型，其中二维图像到三维手指模型的转化矩阵利用卷积神经网络预测；

步骤四、利用高斯法基于手指及其周边皮肤的形变和颜色变化预测手指力。

对上述技术方案的进一步设计为：步骤一中用相机以15帧每秒的速度拍摄分辨率为 1024*768像素的图像。

步骤三中二维图像中手指位置用坐标数组a₀,b₀表示，三维图像中手指的位置用坐标数组 x,y,z表示，方向用角度α,β,γ表示，分别表示偏离角度、高出角度、转动角度；在三维模型的前视图中，x,y,z,α,β,γ全部初始化为0；手指表面一点C₀的现实坐标C₁是由公式C₁＝MC₀给出的。其中，M是转换矩阵：

其中，H是角度参量，H＝Rot_z(α)·Rot_y(β)·Rot_x(γ)，Rot_z(α)表示旋转矩阵关于z轴旋转α角度，Rot_y(β)表示旋转矩阵关于y轴旋转β角度，Rot_x(γ)表示旋转矩阵关于x轴旋转γ角度；q是位置参量，q＝(x y z)^T，x,y,z是三维图像中手指的位置坐标。

步骤三中在得到三维图像后对图像进行纹理映射对齐。

步骤四中利用高斯法估测手指力时，将对齐后得到的图像重塑为n个一维矢量 (d₁,d₂,d₃,...,d_n)，并作为高斯法估测力的输入值，G＝(G₁,G₂,G₃,...,G_n)^T是相应的目标，因此高斯法估测的力f(d^*)和输入坐标矢量d的共轭转置矩阵d^*的分布如下：

其中，E[f(d^*)]是高斯法估测的力f(d^*)的数学期望；K_ij是第i个力d_i和第j个力d_j的协方差，即K_ij＝k(d_i,d_j)；λ_n是n个噪声方差超参数组成的矩阵；I是单位矩阵；k是协方差运算，k^*T表示求出共轭转置矩阵的协方差后转置；G＝(G₁,G₂,G₃,...,G_n)^T是待估计的力组成的矩阵；Var[f(d^*)]是高斯法估测的力f(d^*)的方差；k(d^*,d^*)是输入d的共轭转置矩阵d^*的协方差；噪声方差参数最优值的计算方法如下：