[发明专利]基于yolov3端到端手语识别技术

权利要求书

1.基于yolov3端到端手语识别技术，其特征在于，所述技术包括以下步骤：

S1：采集手的手掌和手腕关节点的坐标信息，并对肢体及面部表情进行关键点标定；

S2：对任意尺寸的视频进行平均值填充操作，使得视频的宽高比例为1:1，然后再对视频进行统一的缩放操作，统一缩放到尺寸为224×224大小的视频，最后，对图片进行颜色转换，锐化，通道变换等操作来扩展数据集的大小；

S3：搭建提取手势局部信息的神经网络模型；

S4：搭建提取整体全局信息的神经网络模型；

S5：将S3和S4中模型输出的两个特征图谱沿着图谱的维度进行拼接，堆叠在一起；

S6：对视频中的哑语动作所对应的文本信息进行词向量嵌入编码，结合S5所得到的特征图谱，生成哑语句子。

2.根据权利要求1所述的基于yolov3端到端手语识别技术，其特征在于，所述步骤S3中，采用yolov3算法搭建提取手势局部信息的神经网络模型，其具体步骤如下：(1)利用yolov3目标检测算法对手部信息进行跟踪检测，提前根据标定的手部边框标签信息对yolov3目标检测模型进行预训练；(2)在得到手部信息的边框坐标后，对边框进行不同尺度的放缩；(3)将放缩处理后的手部信息数据送入到搭建好的卷积神经网络模型中进行训练，提取手部的特征向量。

3.根据权利要求1所述的基于yolov3端到端手语识别技术，其特征在于，所述步骤S4中，搭建提取整体全局信息的神经网络模型，具体包括以下步骤：(1)对整个输入的视频流中的图片帧进行同样的不同尺度的放缩操作；(2)搭建类似于S3的(3)中的模型结构，且参数设置为针对整体全局信息而言；(3)将处理好的整个视频流输入到全局卷积神经网络中进行训练，提出视频的整体全局特征。