[发明专利]一种基于卷积神经网络和热图的第一视角指尖检测方法

说明书

本发明公开了一种基于卷积神经网络和热图的第一视角指尖检测方法，包括步骤：采集手势图片，标注出手势的外接矩形的位置和指尖的坐标，通过外接矩形对原有手势图片进行剪切并对指尖位置进行更新，生成指尖热图；设计一个手势检测卷积神经网络，提取手势特征，用剪切前的图片和外接矩形训练网络使其收敛；设计一个指尖热图回归卷积神经网络，提取指尖特征，用剪切处理后的图片和热图训练网络使其收敛；将输入的第一视角视频分割成帧，利用训练完成的手势检测卷积神经网络模型得到手势的外接矩形，剪切出手势部分，输入指尖热图回归卷积神经网络模型中预测指尖的热图，根据热图得到指尖坐标。本发明能在复杂背景和不同光照下准确检测出指尖地位置。

技术领域

本发明涉及计算机视觉和机器学习的技术领域，尤其是指一种基于卷积神 经网络和热图的第一视角指尖检测方法。

背景技术

近年来，人机交互日益成熟的理论和技术、不断扩大的应用领域以及巨大 的商业价值和发展潜力，使得人机交互领域正不断吸引着越来越多的研究人员 的关注以及新鲜血液的注入。而随着计算机技术的飞速发展。人机交互领域的 重点也逐渐转向使人机交互更加智能化，提高计算机与用户的交互能力，改善 交互方式，让用户能更方便地与计算机“交流”，从而提高人机交互的效率和体 验。自从人类诞生以来，我们一直都在用我们的双手来进行各种信息的处理， 如果能用手势与计算机交流，无疑是一种十分简易自然的交互方式，因此第一 视角的手势交互在人机交互领域具有十分重要的意义。要让计算机理解手势的 含义，需要进行手势分析，对指尖的位置做出判断，从而进一步帮助计算机识 别出对应的手势。手势交互的技术主要涉及指尖的检测，在一个自然场景下， 检测出手指尖的所在位置，指尖检测的好坏将直接影响手势识别的结果，进而 影响用户交互的体验。指尖检测大致分为传统算法和深度学习算法。传统的方 法容易受手势数据的质量，背景颜色，光照条件等因素的干扰，算法性能已经 遇到了瓶颈期，另外，姿势恢复对于实时性的要求很高，因此，传统手指跟踪 算法的实用性已日渐不能令用户感到满意。深度学习的出现使得指尖检测可以 达到惊人的效果。基于卷积神经网络和热图的算法能够在复杂背景，不同光照 和肤色和低分辨率等恶劣条件下提取指尖的特征。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种基于卷积神经网络和 热图的第一视角指尖检测方法，能有效提高指尖检测的精度，通过摄像头输入 第一视角的手势数据，训练卷积神经网络学习指尖的热图并得到指尖的位置。

为实现上述目的，本发明所提供的技术方案为：一种基于卷积神经网络和 热图的第一视角指尖检测方法，包括以下步骤：

S1、采集不同复杂背景下的手势图片，利用标注工具，标记出手势在上述 手势图片中所在位置的外接矩形和手指尖的位置，通过外接矩形地信息对原有 手势图片进行剪切操作，去除大量冗余背景并对手指尖的位置进行更新，最后 利用更新后的指尖位置生成相应的指尖热图；

S2、设计一个手势检测卷积神经网络，将上述剪切前的手势图片作为输入， 手势的外接矩形位置作为标签，进行有监督学习，通过卷积计算提取手势的特 征并将特征进行全连接计算得到手势的预测外接矩形位置，最后将输出值和真 实值进行损失计算，并将误差进行反向传播，使得卷积神经网络收敛；

S3、设计一个手指尖热图回归卷积神经网络，将上述剪切后的图片作为输 入，生成的指尖热图作为标签，进行有监督学习，训练神经网络提取手指尖的 特征，预测得到的热图与真实热图进行像素间的损失计算，并将误差进行反向 传播，使得卷积神经网络收敛。

S4、对输入的第一视角动态手势视频，利用训练完成的手势检测卷积神经 网络模型得到手势外接矩形的坐标点，剪切出手势部分，作为指尖热图回归卷 积神经网络模型的输入，生成指尖的热图，根据热图的信息得到手指尖的准确 位置。

所述步骤S1包括以下步骤：

S11、将摄像头置于第一视角，采集不同场景和光照和肤色条件下不同手势 的右手手势图片，作为数据训练样本；