[发明专利]一种基于深度神经网络的靶心定位方法及系统

权利要求书

1.一种基于深度神经网络的靶心定位方法，其特征在于，所述方法包括：

建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

对仿真图像数据和真实图像数据做数据增强处理得到数据集；

基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

筛选目标类别判定与目标区域判定结果得到圆孔目标；

提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x _i，y _i)，其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)；

其中，在基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果中，具体包括：

使用ResNext网络提取仿真图像和真实图像的特征，分别提取第一特征向量、第二特征向量、第三特征向量和第四特征向量；

分别对第一特征向量、第二特征向量、第三特征向量和第四特征向量执行上采样和卷积操作，得到第五特征向量、第六特征向量、第七特征向量和第八特征向量；

对第八特征向量执行池化操作得到第九特征向量；

将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

匹配候选区域与真实标注区域，得到正样本与负样本；

将正样本、负样本与第五特征向量、第六特征向量、第七特征向量、第八特征向量和第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定，得到目标类别判定与目标区域判定结果。

2.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，所述步骤：建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据，具体包括：

创建仿真模型；

设置光源照向仿真模型；

设置不同视点观察仿真模型，并截取图像得到不同角度的二维图像；

在得到的二维图像中添加噪声，得到仿真图像数据。

3.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，仿真模型为3D柱形靶模型，柱形靶模型上下底面均为椭圆形，且上下底面上均有圆孔，柱形靶模型的材质设置为金属材质。

4.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，设置光源照向柱形靶模型模拟黑暗场景下所观测到的目标形状与特征，光源类型使用点光源或自然光源。

5.根据权利要求2所述的一种基于深度神经网络的靶心定位方法，其特征在于，在得到的二维图像中分别添加高斯噪声或泊松噪声或椒盐噪声或乘性噪声，得到仿真图像数据。

6.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对标注后的数据做预处理即对标注后的图像数据使用直方图均衡化。

7.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，对仿真图像数据和真实图像数据做数据增强处理即通过将仿真图像数据和真实图像数据翻转及调节图片明暗度扩充数据集。

8.根据权利要求1所述的一种基于深度神经网络的靶心定位方法，其特征在于，圆孔目标区域靶心的图像位置坐标(X，Y)的计算公式为：

。

9.一种基于深度神经网络的靶心定位系统，其特征在于，所述系统包括：

仿真图像数据采集单元，用于建立与预设对象匹配的仿真模型，采集仿真模型的图像，得到仿真图像数据；

真实图像数据采集单元，用于采集预设对象的图像数据，标注预设对象的图像数据，对标注后的数据做预处理，得到预处理后的真实图像数据；

数据增强单元，用于对仿真图像数据和真实图像数据做数据增强处理得到数据集；

深度神经网络训练单元，用于基于数据集得到训练集，利用训练集训练深度神经网络，将数据集输入训练后的深度神经网络，得到目标类别判定与目标区域判定结果；

圆孔目标筛选单元，用于筛选目标类别判定与目标区域判定结果得到圆孔目标；

图像坐标提取单元，用于提取圆孔目标对应的区域内每个像素点的图像坐标，记作(x_i ，y _i ),其中i＝1，2，3…M；M为圆孔目标对应区域像素点个数；

靶心图像位置坐标计算单元，用于计算圆孔目标区域像素点横纵坐标的平均值，得到预设对象靶心的图像位置坐标(X，Y)；

其中，所述深度神经网络训练单元还包括

特征向量提取模块，用于使用ResNext网络提取仿真图像和真实图像的特征，分别提取第一特征向量、第二特征向量、第三特征向量和第四特征向量；

采样卷积模块，用于分别对第一特征向量、第二特征向量、第三特征向量和第四特征向量执行上采样和卷积操作，得到第五特征向量、第六特征向量、第七特征向量和第八特征向量；

池化模块，用于对第八特征向量执行池化操作得到第九特征向量；

提议模块，将第一特征向量、第二特征向量、第三特征向量和第四特征向量输入区域生成网络得到区域提议，基于区域提议得到候选区域；

样本筛选模块，用于匹配候选区域与真实标注区域，得到正样本与负样本；

判定模块，用于将正样本、负样本与第五特征向量、第六特征向量、第七特征向量、第八特征向量和第九特征向量输入分类网络与边框回归网络进行目标类别判定与目标区域判定，得到目标类别判定与目标区域判定结果。