[发明专利]一种基于3d卷积神经网络的手势识别方法

说明书

本发明涉及一种基于3d卷积神经网络的手势识别方法，属于手势识别方法。针对深度相机拍摄获取的普通视频和深度视频，进行一系列预处理，在应用预处理的普通处理方法的基础上，针对视频图像存在噪点的问题，采用卷积神经子网与反卷积神经子网相结合的去噪方法，针对视频中存在的时间空间关系，采用3d卷积神经网络进行处理。本发明大幅度提高了手势分类的速率，增强了识别依据的可靠性和结果的合理性。

技术领域

本发明属于手势识别方法。

背景技术

在发展迅速的社会中，人与人的交流不单纯依靠语言交流，当我们遇到语言无法沟通的问题时会本能的选择肢体语言，其中手势作为我们日常生活中人与人交流的重要方式之一，一直可以比较准确地表达我们的医院。手势识别技术作为计算机应用和人工智能领域的研究热点，日益完善，成熟的手势识别技术可以应用于机器人控制、哑语识别、无人驾驶和运动检测等领域。然而，由于手势具有时间和空间上的多样性和不确定性，使手势变成一种复杂的可变形体，因此目前这种人机交互方式理论还不够成熟，技术不够先进，这也就引出一个问题，如何将其应用到实际中仍然是一个富有挑战性的研究课题。另一方面，先进感知与控制技术的不断发展，使得无人驾驶技术日益进步，无人驾驶的应用指日可待。

汽车的发明改变了人类的出行方式，汽车的发展同样也推动着社会的发展。但是，随着汽车保有量的逐年增加，交通问题也越来越严重。交通拥堵与交通事故难以解决，传统的汽车工业面临挑战。近几年随着计算机技术和互联网技术的迅速发展，无人驾驶技术应运而生。从20世纪70年代开始，美国、英国、德国等发达国家开始进行无人驾驶汽车的研究，在可行性和实用化方面都取得了突破性的进展。中国从20世纪80年代开始进行无人驾驶汽车的研究，国防科技大学在1992年成功研制出中国第一辆真正意义上的无人驾驶汽车。传统汽车的交通事故频发，让人不禁担心拥有新的技术的无人驾驶汽车的安全性。据报道，在全球范围内，因为司机注意力分散而导致受伤和死亡的事件层出不穷，2008年在美国，因司机的注意力分散而出现的230万机动车事故中，有22％的人受伤，16％导致死亡。在传统的汽车上，驾驶员通过视觉观察继而手动操作界面，如触觉控制和在汽车屏幕上触摸，会引起严重的分心。在汽车中，基于手势的非触摸式用户界面可以降低视觉效果认知干扰，并能提高安全性和舒适性。最近的主观研究表明基于手势的非触摸式界面在消费者中是受欢迎的。非触摸式用户界面可以为用户的手势特点定制，并且对于未来的司机功能性监测易于扩展，因此在无人驾驶汽车上应用非触摸界面已经是大势所趋，手势识别对于车内设计非接触式界面至关重要。这种界面允许驾驶员在驾驶过程中专注于驾驶本身而不是控制其他控制器，如控制空调，音响等，使用手势识别的非触摸式界面可以极大程度的提高驾驶员的安全度和舒适度，正因如此，手势识别在无人驾驶中起着至关重要的作用。

为了识别手势，会选取不同的特征，有很多算法都用在手势分类器上，比如隐马尔可夫模型，条件随机场和支持向量机，这些算法已经广泛使用。然而，在不同光照下识别不同种类的手势仍然是一个待解决的问题。为了提高识别的准确率，一般无人驾驶车内会配置至少一个3D深度相机，通过深度相机采集视频流信息进行进一步的识别。Ohn-Bar和Trivedi对于车内手势识别使用RGBD数据评估不同的特征和分类器，该算法结合梯度下降特征和支持向量机分类器时表现最佳。Molchanov等人融合来自深度传感器，彩色传感器和雷达传感器的手势联合训练出一个成功的分类结果，成功的在不同光照下取得了一定的识别结果的进步。