[发明专利]一种基于変分编码器中国手语识别方法

说明书

技术领域

本发明中国手语识别领域，特别是一种基于変分编码器中国手语识别方法。

背景技术

手语识别是一种能够将手语信息转化成语音、文字并进行朗读或显示的技术。在手语识别领域，由于连续手语识别是手语识别的关键问题，因此，如何提高手语识别的效果关键在于如何提高连续手语识别的准确性。

现有技术中，连续手语识别的方法主要有以下几种：

第一种，连续手语识别通常采用HMM(Hidden Markov Model,隐马尔科夫)，这种方法在模型中引入了前一状态对当前状态的影响，通过计算输出概率最大化来实现手语的识别；

第二种，连续手语识别也可采用CRF(Conditional Random Field，条件随机场),这种方法在模型中引入上下文信息，需要对训练特征进行左右扩展，并引入人工特征模板进行训练。传统方法中首先分别训练得到手语模型，然后采用逐级预测的方式对待识别手语进行识别。

第三种，采用机器学习算法如SVM、BP神经网络搭建语言模型进行识别。这种需要事先人工采集并标注好数据，进行监督式学习。

但是，上述三种方法主要存在以下问题：

虽然采用左右扩展的方式能在一定程度引入前后状态的关联，但是为了减小模型规模和复杂度，扩展大小十分有限，因此链接前后的距离不能太远，造成当前时刻对前面状态感知能力的下降；

采用监督式学习，需要人工进行标注数据，数据采集工作繁琐，工作量大。

并未考虑非线性扰动对识别结果的影响，当数据有小的扰动的时候，识别算法健壮性不强。

发明内容

本发明的目的在于提供一种基于変分编码器中国手语识别方法，该方法能够减小非线性扰动信号的干扰，实现无监督学习，将时间序列识别网络化繁为简，且提高了对中国连续手语识别的准确率。

为实现上述目的，本发明的技术方案是：一种基于変分编码器中国手语识别方法，包括如下步骤，

S1：采集中国手语的时间序列数据，对该些数据采用编码器进行重构；

S2：对步骤S1重构后的数据进行反向解码，获得反向解码的重构数据；

S3：计算输入数据与解码后的重构数据之间的交叉熵，从而得到整个结构的损失函数，将误差回传，不断更新编码器、解码器参数，极小化损失函数，从而得到最终的编解码模型，用于手语的识别，交叉熵计算公式如下：

其中，x_i为模型输入数据，y_i为在重构后的输出序列。

在本发明一实施例中，所述步骤S1具体实现方式为：采用数据手套获取手语特征，获取中国手语的时间序列数据，而后对采集到的时间序列数据采用编码器进行重构，获得手语时间序列的特征向量；所述数据手套包括弯曲度传感器、九轴传感器以及用于数据处理、存储、发送的微型处理器。

在本发明一实施例中，所述编码器输入为时间序列数据，中间输出由期望与方差向量组成，通过样本均值、方差及随机采样消除非线性扰动后构成编码器，从输入到中间输出采用LSTM型RNN实现，同时采用相对熵来衡量编码器的性能。

在本发明一实施例中，所述相对熵即KL散度，通过统计方法计算可得两个分布N(u,Σ)与N(0,I)之间的散度，计算公式为

其中，Σ_i、u_i为采集到的时间序列数据的方差与均值。

在本发明一实施例中，所述步骤S2具体实现方式为：将编码器所重构的数据通过解码器再次重构，获得的解码结果将用于梯度下降来逼近真实系统。

在本发明一实施例中，所述解码器输入为编码器重构后的特征向量，输出为再重构后的时间序列，解码器采用LSTM型RNN实现。

在本发明一实施例中，所述LSTM型RNN采用下式控制信息的流动：

I_t＝σ(W_ixI_t+W_imm_t-1+W_icc_t-1+b_i)

F_t＝σ(W_FxI_t+W_Fmm_t-1+W_Fcc_t-1+b_F)