[发明专利]一种基于半监督机器学习的时空纹理图像角度识别方法

权利要求书

1.一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于，包括以下步骤：

第一步：构建时空纹理图像数据集，数据集由训练集和测试集和待标注的数据集三部分组成；采集多个河流断面的测流视频数据，包括不同季节和不同环境的测流视频数据，将其分为两部分，一部分绘制测速线生成时空纹理图，人工挑选出纹理清晰的时空纹理图，分别使用量角器和FFT方法计算时空纹理图像的角度，识别以上两种方法角度相差C度以内的纹理图像，根据相差的绝对值从小到大排序，保留差别最小的A张时空纹理图像，并将对应的量角器测量的角度值作为图像分类的标签，在保留的A张标注的时空纹理图像基础上，设置增量为E度的旋转参数，将标注的时空纹理图像的纹理角度数据进行D次旋转，获取D*A张时空纹理图像，从每个角度类别中随机将其中的一部分划分为测试集，另一部分划分为训练集；时空纹理图像待标注的数据集由另一部分测流视频数据生成；

第二步：网络模型训练阶段，使用训练集训练角度识别深度学习模型；选择深度学习分类任务中的常见网络对训练集进行训练，并对模型的推理耗时进行评估，选择运行效率高的几个轻量级的网络，然后在同样的数据集上对轻量级网络的识别精度F1进行评估，选择识别精度F1最高的轻量级深度学习网络训练角度识别深度学习模型，在进行多轮的训练后，直到模型在测试集的识别精度F1不再提升，得到角度识别深度学习模型；

其中，precesion为查准率，recall为召回率，TP表示把正类预测为正类的数量，FP表示把负类预测为正类的数量，FN表示把正类预测为负类的数量；

第三步：待标注的时空纹理图像数据集筛选；计算待标注的时空纹理图像数据集中所有图像的纹理清晰度，对于清晰度Clearity0.25的时空纹理图像，直接去除；

第四步：剩余待标注的时空纹理图像数据集中的图像纹理角度识别；利用第二步训练的角度识别深度学习模型对第三步筛选后剩余的待标注的时空纹理图像数据集中的纹理图像进行角度识别，识别出其纹理角度θ₃；

第五步：训练集的扩充；将第四步中识别出的纹理角度符合阈值要求的时空纹理图像加入训练集中。

第六步：自监督的训练，重复第二步-第五步的过程，直到模型在测试集上识别精度F1不再提升，得到最终的时空纹理图角度识别模型。

2.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第一步中具体为按照实际情况将测流视频数据均匀或按照比例分为两部分。

3.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第三步中纹理清晰度计算公式如下：

在上式中：

上式中：I(x,t)表示时空图灰度的大小，x表示合成时空图的检测线的像素长度，t表示合成时空图的视频图像的时长，S表示积分区域。与表示灰度的梯度，Clearity表示时空图像的清晰度，反应灰度沿着x方向和t方向的变换情况，可以采用Sobel算子H_x与H_t求解灰度梯度：

4.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第四步中具体为采用中心裁剪的方式截取时空纹理图像的最大的内接正方形，生成N×N大小的时空纹理图像，接下来将时空纹理图像尺寸调整到角度识别深度学习模型要求的图片尺寸输入大小m×m，输入到角度识别深度学习模型中，识别出其纹理角度θ₃。

5.根据权利要求1所述的一种基于半监督机器学习的时空纹理图像角度识别方法，其特征在于：第五步具体为：

(1)对第三步得到的剩余的待标注的时空纹理图像数据集分别采用边缘检测法和梯度张量法计算其纹理角度。

具体的阈值判断方法为：

边缘检测方法：

对于当前待识别的时空纹理图像，转换成灰度图像后，执行canny边缘检测获取边界的轮廓信息，对边缘检测得到的二值化图像进行轮廓提取计算，提取边缘检测的轮廓点坐标，利用轮廓提取函数findContour抽取轮廓信息最丰富的前十个边缘轮廓点坐标，拟合出十条直线，并求取十条直线的斜率以获取其角度，根据轮廓提取函数findContour得到的轮廓信息的情况，进行由多到少的排列，对前十条直线的角度进行加权平均，求得边缘检测方法得到的纹理平均角度θ₁。

梯度张量法：

其计算公式如下：

在上式中：

上式中：I(x,t)表示时空图灰度的大小，S表示积分区域。与表示灰度的梯度，反应灰度沿着x方向和t方向的变换情况，可以采用Sobel算子H_x与H_t求解灰度梯度：

通过第四步角度识别深度学习模型识别其纹理角度为θ₃，并输出其分类为θ₃概率P_cnn。

判断是否符合阈值S要求计算公式如下：

S＝λ₁Clearity+λ₂P_cnn+λ₃difference

其中：

difference表示不同方法计算结果的差异性参数，λ₁+λ₂+λ₃＝1，λ表示各个参数在阈值计算时所占的权重，这里权重值通过实验获得经验权重。

(2)训练集扩充。当第三步利用角度识别深度学习模型识别出的剩余待标注的时空纹理图像的纹理角度θ₃大于阈值S时，将该时空纹理图像进行旋转生成各个角度下对应的时空纹理图像，计算旋转后的纹理角度，并将其添加到训练集对应的分类中。