[发明专利]一种复杂背景下的手势识别方法

说明书

一种复杂背景下的手势识别方法，采用基于编解码结构的语义分割网络对含有复杂背景的手势图片数据集进行特征提取，输出手部分割图；采用基于双通道分类网络对手部分割图和原手势图片数据集进行特征提取，识别出手势类别。本发明在编解码结构的语义分割网络中加入了多尺度上下文信息，提高了语义分割的性能，同时分割网络中引入深度可分离卷积，大大减少了计算成本，降低了模型对硬件设备的要求，使整个手势识别网络更加轻量。

技术领域

本发明涉及目标分割识别技术，尤其涉及一种复杂背景下的手势识别方法。

背景技术

自古以来，人类就一直在使用手语进行交流。手势就像人类文明本身一样古老。手势对于表达任何要交流的词或感觉特别有用。因此，尽管制定了书写惯例，但世界各地的人们仍在不断使用手势进行表达。

近年来，随着机器视觉的发展，人机交互与人们的日常生活的联系更加紧密。手势作为人们进行交流的常用方式，对于实现人机之间的自然交流至关重要，并为操作员提供了更舒适的体验。特别是，手势可用于提供与计算机的更直观的交互，这引起了研究人员的注意。

手势用于传达信息，手势识别一直是机器视觉的重要研究领域。手势识别可以为特殊群体提供服务，例如聋哑人或听力受损的人。另外，它在智能驾驶，机器控制和虚拟现实等领域也具有广阔的应用前景。

在实际应用中，手势的不同角度、不同大小、肤色、光照强度以及手势周围的环境给手势识别带来巨大的挑战。因此手势图像的背景可分为简单背景和复杂背景，简单背景是指不包含任何噪声的背景，而复杂的背景是指包含噪声的背景。在实际场景中仍然缺乏针对复杂背景下手势识别的高精度解决方案。因此，实现复杂背景下手势的高精度识别具有重大的现实意义。

发明内容

本发明的目的在于提供一种复杂背景下的手势识别方法，实现在复杂背景下准确识别手势的类别，减少人工识别成本。

为了达到上述目的，本发明提供一种复杂背景下的手势识别方法，包含：

采用基于编解码结构的语义分割网络对含有复杂背景的手势图片数据集进行特征提取，输出手部分割图；

采用基于双通道分类网络对手部分割图和原手势图片数据集进行特征提取，识别出手势类别。

所述所含有复杂背景的手势图片数据集符合预设实验要求，所述预设实验要求包含：数据集的图像都带有对应的地表真值图像，每一组图像都由不同的受试者完成；数据集的图像都是在非常具有挑战性的情况下采集的。

所述基于编解码结构的语义分割网络包含：一个3×3卷积层，四个瓶颈残差模块、空洞空间池化金字塔ASPP、以及解码器模块；

所述一个3×3卷积层、四个瓶颈残差模块和空洞空间池化金字塔ASPP依次连接；

所述第二个瓶颈残差模块的输出通过上采样后的特征与空洞空间池化金字塔ASPP输出的特征进行融合，融合后的特征作为解码器模块的输入。

所述瓶颈残差模块包含三个瓶颈残差单元，每个瓶颈残差单元依次连接；

第二个瓶颈残差模块和第三个瓶颈残差模块用于下采样操作，以捕捉语义信息；

所述第二个瓶颈残差模块输出的特征通过上采样操作以获得浅层细节特征；

第四个瓶颈残差模块应用不同大小的空洞卷积，以获得更多上下文信息。

所述瓶颈残差单元包含：两个1×1卷积层和一个深度可分离卷积结构；

所述深度可分离卷积结构包含：逐通道卷积Depthwise Conv和逐点卷积1×1Conv，逐通道卷积和逐点卷积后都紧跟着批量归一化操作Batch Normalization和Relu激活函数。