[发明专利]一种大型设备安拆步骤检测方法

说明书

本发明公开了一种跨模态大型设备安拆步骤检测方法。包括：跨模态数据集建立、SENet网络和文本模块应用、检测；检测是对包括安拆步骤图像的数据库进行检索，初步确定安拆步骤，然后利用基于深度学习的图像标注技术，对安拆工作图像进行文字化描述，将文字化描述在文本数据库中进行相似度计算，以确定该安拆步骤属于的步骤，最后结合图像和文本的结果进行判定，如果同时确定属于其中的某个步骤，则确认该安拆工作所属的步骤，否则，重新进行检测判定。本发明构建特定的大型特种设备安拆中的图像与文本数据集，采用SENet网络与图像文本描述技术，能很好的适应大型特种设备施工的场景，并能根据识别结果对安拆步骤进行检测，判断安拆步骤的正确性。

技术领域

本发明涉及一种大型设备安拆方法，具体涉及一种跨模态大型设备安拆步骤检测方法。

背景技术

目前，随着我国经济的高速发展，基建项目越来越多，在工地上大型特种设备是一种常见的建筑施工设备，同时项目工地上大型特种设备结构复杂，工地安全性要求高。但目前在大型特种设备在安装拆卸过程中的安全问题易被忽略，目前施工现场对安拆过程中的监管通常采用人工的方式，而监管人员需要有丰富的安拆经验，一旦监管人员出现疏漏容易造成重大的安全事故。

公开号为CN109626224A的中国专利公开了“有限空间中桥式起重机安拆装施工方法”，根据桥式起重机的具体参数在考虑有限的空间的情况下，设计了一种桥式起重机安拆方法。但通过该专利可以看出，在设计设备安拆过程中并有对人为失误或可能出现的误操作进行检测或者预警，一旦出现人为失误会造成严重后果。

发明内容

本发明针对现有技术的以上缺陷或改进需求提供了一种跨模态大型设备安拆步骤检测方法，本发明目的在于检测在大型特种设备安拆过程步骤，以人工智能代替监管人员，实现对大型特种设备安拆步骤的智能管控。

本发明通过以下技术方案实现：

一种大型设备安拆步骤检测方法，其特征在于：针对检测的安拆步骤，利用安拆设备的包括安拆步骤图像的工作图像数据库的进行检索，初步确定安拆步骤属于整个步骤的哪一个步骤，然后利用基于深度学习的图像标注技术，对安拆工作图像进行文字化描述，将文字化描述在文本数据库中进行相似度计算，以确定该安拆步骤属于文本数据库步骤中的哪一个步骤，最后结合图像和文本的结果进行判定，如果同时确定属于其中的某个步骤，则确认该安拆工作所属的步骤，否则，重新进行检测判定。

进一步本发明大型设备安拆步骤检测方法，包括：跨模态数据集建立、SENet网络和文本模块应用、检测。

跨模态数据集建立是：收集大型特征设备安拆步骤过程中图像数据和文本数据，并依据安拆步骤对图像进行标注；确实每张图像对应的安拆步骤顺序，为后续训练深度学习模型进行数据集构建；

SENet网络是对大型特种设备安拆过程中的图像信息进行识别；文本模块是利用深度网络对安拆图像进行文本描述。

最后结合图像和文本所得的编标进行决策，如果都是正确的，那么就确定该安拆过程所属的步骤编号，否则进一步微调网络，再重复进行以上结果。

所述跨模态数据集包括两部分，一个部分是图像数据集，另一个部分是文本数据集；图像数据集和文本数据集是相关的，大型设备的安拆步骤同时用图像和文本描述，其中，图像按照安拆步骤的顺序进行编号，每一张图像下面都有其文本描述。

所述SENet网络是作为提取特征的卷积神经网络。

进一步所述SENet网络和文本模块应用是：

将训练集中的每一张图像都用SENet转换成特征向量，对于一张输入的安拆过程图像，同样利用SENet将其转换为特征向量，然后将其与训练集中的特征向量进行比较，选取结果最接近的即为当前安拆过程所属的编号；