[发明专利]一种基于手势识别及北斗卫星的信息交互方法

权利要求书

1.一种基于手势识别及北斗卫星实现信息交互的方法，该方法借助于，图像采集器、手势识别服务器、信息交互双方的局域通信网络，北斗卫星报文收发设备和北斗卫星报文信道实现，其特征在于：该方法由以下步骤实现：

步骤1、信息交互发起方在图像采集器可视范围内，将信息交互内容采用规定的标准手势动作进行表达，图像采集器采集到信息交互发起方手势动作图像后，图像采集器将采集到的信息交互发起方手势动作图像及信息交互接收方的代码信息经短波、超短波电台信道的局域通信网络发送手势识别服务器；

步骤2、手势识别服务器对步骤1收到的信息交互发起方手势动作图像及信息交互接收方的代码中的信息交互发起方手势动作图像通过算法与手势识别服务器中储存的规定标准手势动作样本图像按顺序进行比对识别，对于比对识别成功的手势动作转换成手势识别服务器中储存的规定标准手势动作样本图像对应的词组；

步骤3、手势识别服务器将步骤2的词组由短波、超短波电台信道的局域通信网络经交换机接口发送至信息交互发起方的北斗卫星报文收发设备；

步骤4、信息交互发起方的北斗卫星报文接发收设备将步骤3收到的词组，经北斗卫星报文信道发送给对应信息交互接收方所在的区域的北斗卫星报文收发设备，该北斗卫星报文收发设备通过收发设备交换机信令解码后，将相应词组经交换机接口由信息交互接收方区域短波、超短波电台等信道的局域通信网络发送至信息交互接收方的信息交互终端，信息交互终端将获得的词组以文字图像显示或转换为音频播放的形式，实现信息交互。

2.根据权利要求1所述的一种基于手势识别及北斗卫星实现信息交互的方法，其特征在于：该方法步骤2中，信息交互发起方手势动作图像通过算法与手势识别服务器中储存的规定标准手势动作样本识别的方法是：

(a)基于Retinex模型对信息交互发起方手势动作图像进行增强处理；

1)依据公式(1)对图像序列中的图像帧进行分块：

公式(1)为边界判别公式，其中IM_ij为Retinex模型增强前的图像区域块，OM_ij为Retinex模型增强输出图像区域块，imd_ij为图像块像素灰度均值，为图像块像素灰度均值：

2)当图像灰度变化程度较小，多为阴影等区域。设置尺度为σ₁，依据高斯模板F₁(x,y)对图像区域块进行滤波运算；在照射图像空间域平滑、照射图像的像素值大于输入图像的像素值、以及照射图像和输入图像足够接近等约束条件下，估计这一区域图像的入射分量、反射分量，实现图像区域块的增强，具体做法如式(2)、(3)：

R₁(x,y)＝logS₁(x,y)-log[S₁(x,y)*′F₁(x,y)] (3)

式中，R₁(x,y)为原图中区域块的输出结果，S₁(x,y)为低对比度区域内的像素，F₁(x,y)为用尺度为σ₁的高斯函数：

3)当声图象灰度变化程度较大，多为边缘等区域。设置尺度为σ₂，估计这一区域图像的入射分量、反射分量，使用上述步骤相同的方法实现图像区域块的增强，具体做法如式(4)、(5)：

R₂(x,y)＝logS₂(x,y)-log[S₂(x,y)*′F₂(x,y)] (5)

这样，按照σ₁<σ₂的规则选取尺度，对于平滑、细节等不同区域，选用不同尺度的Retinex算法。通过对不同的区域设置不同的尺度，基于Retinex模型得到了R₂(x,y)子图；将子图R₁(x,y)、R₂(x,y)融合在一起，就是最后的增强结果：

(b)基于Surfacelet变换的图像的细节区域提取：

对基于Retinex模型增强后的图像进行Surfacelet变换，带通系数的大小体现图像中该频率下细节或边缘信息的强度。当图像中出现细节，在系数中会出现相应变化趋势，则该细节对应的系数梯度能量较大。在此定义4×4大小的窗，并计算每个系数所对应的窗口梯度能量：

在每一能量子带中，根据窗口梯度能量数值，按照大小递增顺序生成曲线，计算每一点到窗口梯度能量曲线两端点连线的距离d。

其中，为最大值，M,N为图像大小，则该方向下系数梯度能量阈值为：

利用阈值对式(6)计算结果进行舍去，可获得该尺度下细节系数区域。将各尺度下所有子带节细节区域进行整合并对应图像相应位置像素，最终可获得图像细节区C_detail与图像非细节区C_nundetail：

(c)待匹配的图像细节区C_detail与规定标准手势动作样本图像相关匹配：

输入图像模板，基于总能量函数E_total低于设定的阈值作为约束条件，利用Dijkstra算法更新形变参数，对待匹配的图像细节区C_detail与变形规定标准手势动作样本图像模板进行相关匹配，获得相关值和相关匹配位置；

采用最大近邻距离Maximum Close Distance MCD相关匹配算法作为相关匹配的度量准则，法如下式：

其中1≤i,j≤32，为第k(k＝1,L,n)次变形模板图像(i,j)位置处的像素值，I′_i,j为当前帧图像(i,j)位置处的像素值，I′表示与变形模板大小相同的当前帧中图像细节区C_detail，T_MCD为相关匹配阈值，取值为15，算法原理：首先比较待匹配的图像细节区C_detail与规定标准手势动作样本图像对应点的灰度绝对差，如果灰度绝对差小于预先设置的阈值，就认为待匹配的图像细节区C_detail与规定标准手势动作样本图像对应点近似，然后统计整幅图像区域中待匹配的图像细节区C_detail与规定标准手势动作样本图像对应点象素绝对差小于这个阈值的数目，将其定义为MCD距离，表征待匹配的图像细节区C_detail与规定标准手势动作样本图像的相似程度，D距离越大说明待匹配的图像细节区C_detail与规定标准手势动作样本图像越相似，合考虑计算复杂度和目标尺寸，本文图像模板的大小为32×32个像素，用变形模板可以较单模板及多模板提供更多的规定标准手势动作样本图像信息，以达到提高手势动作识别的稳定性；

(d)最后，基于最大近邻距离Maximum Close Distance MCD相关，采用BP神经网络进行有监督的样本训练及识别。