[发明专利]一种风力发电机组叶片视频监测中的抽帧方法

权利要求书

1.一种风力发电机组叶片视频监测中的抽帧方法，其特征在于：通过深度学习算法抽取包含叶片的视频帧，再通过位置优先策略和置信度筛选策略，抽取出最终指定数目的视频帧；具体包括以下步骤：

1)搭建基于深度学习的图片分类网络模型

选用网络模型ResNet18或SqueezeNet，对ResNet18网络特征图的深度进行裁剪，或者对SqueezeNet网络特征图的深度进行裁剪，并去除SqueezeNet网络的部分“Fire Module”块；

2)模型训练

采集叶片视频并整理成视频帧数据集，使用整理好的视频帧数据集对搭建的网络模型进行训练，得到基于深度学习的叶片帧抽取模型；

3)获取指定数目的包含叶片帧

3.1)记风力发电机叶片数目为N，每个叶片对应一个Id；

3.2)采集叶片视频，对视频中的叶片从0开始编号，每个叶片从进入画面到离开画面一次计数加1，记编号为n，则通过式(1)可得到每个编号与实际叶片的对应关系：

Id＝n％N    (1)；

3.3)通过叶片帧抽取模型对视频中包含叶片的帧进行抽取，将编号为n的叶片从进入画面到离开画面所抽取到的帧数记为m，并对抽取到的视频帧从0开始编号，由此每段视频经过叶片帧抽取模型抽取后得到式(2)所示的抽取帧信息列表：

[…,[n,[conf₀,conf₁,…,conf_m],[pic₀,pic₁,…,pic_m]],…]    (2)；

其中，conf为一帧图片判定为包含叶片或不包含叶片的置信度值，pic为该帧图片临时存放的完整路径信息；

3.4)由式(2)中的列表信息，经过位置优先策略和置信度筛选策略，并根据路径pic对抽取帧进行汇总，删除无用帧，得到最终指定数目topN的包含叶片帧；

所述位置优先策略具体按照如下方式实施：

如果式(2)中抽取的图片总数不大于topN帧，则直接将所有图片作为最终抽取帧结果；否则，根据式(3)获取中间位置列表；如果n≥topN，则式(3)列表中前topN结果作为最终抽取帧结果；如果ntopN，则式(3)列表中的n个结果均作为抽取帧结果，剩下的topN-n帧结果通过置信度筛选获取；

所述置信度筛选策略具体按照如下方式实施：

先对式(2)与式(3)求差集得到包含叶片但未被抽取的帧；再以置信度conf对差集进行降序排列，抽取前topN-n帧结果；最后与式(3)的抽取帧结果合并，得到最终抽取帧结果。

2.根据权利要求1所述的一种风力发电机组叶片视频监测中的抽帧方法，其特征在于，步骤2)中所述采集叶片视频并整理成视频帧数据集具体按照以下步骤实施：

a)采集叶片视频，选取白天、夜间、晴天、阴天、雨雪天场景的视频帧素材，使素材中同时包括有叶片的视频帧和没有叶片的视频帧两类；

b)根据判定包含叶片的界定标准将图片分为正、负两类样本，剔除重复数据后，负样本数量是正样本数量的2～4倍，并共同构成数据集；

所述界定标准为：叶片两侧边缘均出现在画面中，且叶片的外接矩形面积不小于图片的30％，将满足该条件的图片作为正样本；将不满足前述条件的图片作为负样本。