[发明专利]一种大型设备安拆步骤检测方法

权利要求书

1.一种大型设备安拆步骤检测方法，其特征在于：

针对检测的安拆步骤，利用安拆设备包括安拆步骤图像的工作图像数据库的进行检索，初步确定安拆步骤属于整个步骤的哪一个步骤，然后利用基于深度学习的图像标注技术，对安拆工作图像进行文字化描述，将文字化描述在文本数据库中进行相似度计算，以确定该安拆步骤属于文本数据库步骤中的哪一个步骤，最后结合图像和文本的结果进行判定，如果同时确定属于其中的某个步骤，则确认该安拆工作所属的步骤，否则，重新进行检测判定；

具体包括：跨模态数据集建立，SENet网络应用，文本模块应用，检测；

跨模态数据集建立是：收集大型特种设备安拆过程中图像数据和文本数据，并依据安拆步骤对图像进行标注，图像数据和文本数据是相关的，大型特种设备的安拆步骤同时用图像和文本描述，其中，图像按照安拆步骤的顺序进行编号，每一张图像下面都有其文本描述；确定每张图像对应的安拆步骤顺序，为后续训练深度学习模型进行数据集构建；

SENet网络应用是：作为提取特征的卷积神经网络对大型特种设备安拆过程中的图像信息进行识别，包括：将训练集中的每一张图像都用SENet转换成特征向量；对于一张输入的安拆过程图像，同样利用SENet将其转换为第一特征向量，使用欧氏距离计算出第一特征向量和图像数据库中每一个特征向量的距离，选择距离最小的图像对应的编号即为当前安拆过程所属的编号；

文本模块应用是：利用深度网络对安拆图像进行文本描述，包括：使用SENet提取安拆过程图像的第一特征向量，将第一特征向量输入到LSTM中得到安拆过程图像的文本描述；

将文本数据库中的文本用Word2Vec转换为文本向量；将安拆过程图像的文本描述用Word2Vec转换为第一文本向量；使用余弦相似度计算第一文本向量与文本数据库中的每一个步骤文本向量的相似度，选取与第一文本向量最相似的编号即为当前安拆步骤所属的编号；

检测是：结合图像和文本所得的编号进行决策，如果都是正确的，那么就确定该安拆过程所属的步骤编号，否则，调整或重新调用SENet网络和文本模块，再重复进行检测步骤。