[发明专利]基于视频语义分割算法的损伤识别技术

说明书

基于视频语义分割算法的损伤识别技术，步骤包括：(1)采集待识别视频样本，将视频帧按时序保存作为原图像，进行数据预处理，并标记所有原图像，构建视频语义分割数据集，然后划分数据集；(2)搭建深度卷积神经网络，所述深度卷积神经网络包括特征提取模块、特征扩张模块、高层次语义上下文提取模块、特征传播模块；(3)利用梯度反向传播算法和梯度下降优化算法在训练集上训练深度卷积神经网络，用性能评估函数评估网络性能，将达到预设指标且性能最佳的卷积神经网络参数保存；(4)将步骤(3)保存的参数加载到所述深度卷积神经网络中，输入从本地或者光学传感设备中读取到的视频帧，显示输出的分割结果图。

技术领域

本发明属于损伤智能识别领域，具体是一种基于视频语义分割算法的损伤识别技术，是深度神经网络模型和对数据集的预处理方法在损伤智能识别领域的工程应用。

背景技术

损伤是金属、陶瓷、玻璃等材料由于应力或者温度、湿度等环境因素的影响所产生的瑕疵；随着计算机科学的蓬勃发展，损伤识别方法从最早的人工观测损伤识别过渡到依靠电子设备实现的智能损伤识别；避免了纯人工损伤识别方法的诸多弊端，诸如损伤识别的效率低下，且存在遗漏，识别结果通常仅仅描述是否存在损伤，而并不对损伤的位置和所在像素区域进行描述；

目前，基于深度学习的损伤识别方法，研究对象多为计算机图像，通过深度卷积神经网络实现对损伤图像的分类、检测、分割；但是实际应用中，对待检测的器械或者基础设施全方位拍摄图像，然后进行检测的方法显然费时费力，甚至可能花费的总时间比人工肉眼检测还要长；更常用也更实际的方法是通过摄像头采集视频数据，然后通过深度学习算法对视频进行处理，对视频中的损伤进行分类、分割、检测；

由于视频可以被看作是连续的图像帧的集合，对于视频的处理可以通过对视频帧所有帧进行逐帧处理，间接实现对视频的处理；显然，这样的方法存在许多问题；第一，将视频视作孤立的图像，忽略了视频的时间上下文信息，没有利用视频的连续帧之间的关联信息，对于可能存在的冗余帧没有采用更廉价的处理手段；第二，一段总长N分钟，FPS为24的视频，帧数为1440N，可见视频帧的数量往往是巨大的，采用逐帧处理的方法实时性差；处理速度慢导致帧率过低，在视觉效果上往往是卡顿的；第三，视频中帧质量无法保证，存在一些帧未聚焦、拍摄角度或者拍摄目标的动作过于稀少，这不仅会影响神经网络的训练，影响神经网络参数的收敛速度，而且也影响神经网络的实际使用；由于无法充分学习到稀有帧的特征，所以在实际应用中遇到这样的帧处理的结果不理想；

当下，视频语义分割的两个主要的困难分别为准确度和实时性不可兼得、视频数据标注耗时耗力；现有的公开的视频语义分割数据集中，大多数都仅仅标注了一部分帧；通常是每个小片段有一帧带有标注，而其他的帧都没有标注。

发明内容

本发明的目的在于提出了一种精度更高，速度更快，占用内存和处理机资源更少的基于视频语义分割算法的损伤智能识别技术，本发明技术方案的设计思路如下：

分为四个阶段，分别为1）数据准备阶段、2）模型训练阶段、3）模型测试阶段、4）实际应用阶段；

1）数据准备阶段的步骤包括：

1.1）数据采集：用特定传感设备采集目标应用场景下的待识别视频，所述目标应用场景包括但是不限于路面损伤识别、金属材料表面损伤识别、陶瓷制品损伤识别，所述传感设备包括但不限于摄像机、扫描仪等具有拍摄功能的各种视频采集设备；

1.2）视频清洗：将步骤1.1）得到的视频逐帧进行筛选，去除非正常拍摄视频帧和重复视频帧；将清洗过的所有视频帧作为原图像保存，同时保存所有视频帧之间的时序关系；所述时序关系是指视频帧在视频中时间上的先后顺序关系；