[发明专利]一种基于卷积神经网络和热图的第一视角指尖检测方法

摘要

本发明公开了一种基于卷积神经网络和热图的第一视角指尖检测方法，包括步骤：采集手势图片，标注出手势的外接矩形的位置和指尖的坐标，通过外接矩形对原有手势图片进行剪切并对指尖位置进行更新，生成指尖热图；设计一个手势检测卷积神经网络，提取手势特征，用剪切前的图片和外接矩形训练网络使其收敛；设计一个指尖热图回归卷积神经网络，提取指尖特征，用剪切处理后的图片和热图训练网络使其收敛；将输入的第一视角视频分割成帧，利用训练完成的手势检测卷积神经网络模型得到手势的外接矩形，剪切出手势部分，输入指尖热图回归卷积神经网络模型中预测指尖的热图，根据热图得到指尖坐标。本发明能在复杂背景和不同光照下准确检测出指尖地位置。

主权项

一种基于卷积神经网络和热图的第一视角指尖检测方法，其特征在于，包括以下步骤：S1、采集不同复杂背景下的手势图片，利用标注工具，标记出手势在上述手势图片中所在位置的外接矩形和手指尖的位置，通过外接矩形地信息对原有手势图片进行剪切操作，去除大量冗余背景并对手指尖的位置进行更新，最后利用更新后的指尖位置生成相应的指尖热图；S2、设计一个手势检测卷积神经网络，将上述剪切前的手势图片作为输入，手势的外接矩形位置作为标签，进行有监督学习，通过卷积计算提取手势的特征并将特征进行全连接计算得到手势的预测外接矩形位置，最后将输出值和真实值进行损失计算，并将误差进行反向传播，使得卷积神经网络收敛；S3、设计一个手指尖热图回归卷积神经网络，将上述剪切后的图片作为输入，生成的指尖热图作为标签，进行有监督学习，训练神经网络提取手指尖的特征，预测得到的热图与真实热图进行像素间的损失计算，并将误差进行反向传播，使得卷积神经网络收敛；S4、对输入的第一视角动态手势视频，利用训练完成的手势检测卷积神经网络模型得到手势外接矩形的坐标点，剪切出手势部分，作为指尖热图回归卷积神经网络模型的输入，生成指尖的热图，根据热图的信息得到手指尖的准确位置。