[发明专利]一种高效的类手-文混合目标检测方法

权利要求书

1.一种高效的类手-文混合目标检测方法，其特征在于：包括以下步骤：

S1：采用图像合成及数据增强的方式制备包括手指、笔的类柱体物指向文本的类手-文混合目标数据集，划分类手-文混合目标数据集中图像的正样本和负样本，对图像的目标区域标注真实框，记录真实框的坐标信息；

S2：设计适用于类手-文混合目标检测的算法搭建深度神经网络模型；以深度神经网络模型输出的预测框与真实框之间的面积交并比为预设阈值，用于平衡划分训练正负样本；

S3：采用类手-文混合目标数据集迭代训练深度神经网络模型，从图像数据中提取特征并且按照给定的目标检测原理和预设阈值回归得到与真实框相近的混合目标检测候选框；

S4：采用训练后调整好参数权重的深度神经网络模型对现实阅读场景下的类手-文验证集和测试集进行类手-文混合目标的检测。

2.根据权利要求1所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S1中，具体步骤为：

S11：采用工业摄像头或相机在不同实体阅读场景中拍摄采集文本图像，或从现有的文本图像数据集中选取符合目标要求的文本图像；

S12：采用Fingers-手指数据集中的手指图像，或实景拍摄包括笔、手指的类柱体物图像；类柱体物图像的背景为简洁背景用于突出且使类柱体物图像易于辨认；

S13：将类柱体物图像合成到文本图像中得到合成类手-文图像；合成类手-文图像包括文本和类柱体物指向文本的特征规范，且表征类柱体物指向的文本在图像中的位置；

S14：划分合成类手-文图像的正样本和负样本；正样本为包括类手-文混合目标的图像区域；负样本为包括干扰对象、不包括类手-文混合目标的图像区域；

S15：对合成类手-文图像的适当大小区域标注真实框，标注方法包括：根据文本图像改动的合成区域的所在位置信息自动生成并记录保存需要标注的真实框坐标位置信息；或采用标注工具LabelImg人工标注真实框坐标位置信息；

S16：采用包括旋转角度、缩放、拉伸、裁剪、亮度增强的数据增强方法扩充合成类手-文图像的数量。

3.根据权利要求2所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S1中，还包括以下步骤：

S17：将制备好的类手-文混合目标数据集划分为训练集、验证集和测试集。

4.根据权利要求1所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S1中，合成类手-文图像中的类柱体物图像包括多种皮肤颜色、指甲样式、手部姿势、手指朝向的手指，或多个种类的笔；合成类手-文图像中的文本图像不重复。

5.根据权利要求1所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S2中，具体步骤为：

S21：采用One Stage目标检测方法进行类手-文混合目标的特征提取、目标分类和定位回归；搭建包括图像平铺层、特征提取层、序列输出层的深度神经网络模型；图像平铺层用于将输入图像分割为若干个小块然后展平为序列；特征提取层用于将融合位置编码后的序列输入到编码器解码器组合中提取特征；序列输出层用于输出图像中属于类手-文混合目标的预测框的坐标信息和混合目标置信度；

S22：以预测框与真实框的面积交并比为预设阈值，用于平衡划分训练正负样本。

6.根据权利要求5所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S21中，混合目标置信度通过计算预测框与真实框的面积交并比确定，并以非极大抑制方法淘汰小于预设阈值的混合目标置信度。

7.根据权利要求5所述的一种高效的类手-文混合目标检测方法，其特征在于：所述的步骤S22中，取预测框与真实框的面积交并比等于0.7为预设阈值。