[发明专利]一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法

权利要求书

1.一种数字化车间MES系统基于视觉的异常状态监测与故障诊断方法，在数字化生产车间设置多传感器对工业现场的运行状态进行监测，其特征在于，还包括：

视频采集器，其配置在底层工业控制现场关键环节，实时采集底层工业控制现场视频，并传送至MES系统；

视频处理与分析模块，配置在MES系统中，可对接收到的工业控制现场视频进行显示、存储、分析和检索，提取视频数据信息；

异常监测与故障诊断模块，配置在MES系统中，可集成生产数据、生产现场多传感器的数据和视频处理与分析模块的视频数据信息，提取异常事件并报警，并进行异常原因分析；

MES系统实时接收多传感器采集的底层工业控制现场数据，实时读取并存储生产数据，监测数据和视频采集器采集的视频数据；

当MES系统接收实时的现场数据时，视频处理与分析模块和异常监测与故障诊断模块对数据进行在线分析：视频处理与分析模块提取视频数据信息；同时，异常监测和故障诊断模块接收生产数据，多传感器监测数据，以及视频数据信息，对设备运行状态进行判别；

若为异常状态，则进行报警并集成为异常事件数据，供MES系统查询与分析，以实现异常监测功能；

当MES系统接收设备故障报警或异常状态时，视频处理与分析模块和异常监测与故障诊断模块对数据进行离线分析：视频处理与分析模块分析故障或异常时段的视频数据，标记异常区域，并提取异常事件数据；同时，异常监测和故障诊断模块收集异常时段生产数据，多传感器监测数据和视频数据信息，对设备故障和异常类别进行判别、原因分析、报警并集成为异常事件数据，供MES系统查询与分析，以实现故障诊断功能；

所述的视频处理与分析模块包括视频显示模块、视频存储模块、视频分析模块和视频检索模块，执行以下步骤：

所述的视频分析模块进行标定：接收视频采集器采集的现场正常工作时的视频数据，根据现场关注的工作场景，人工或者自动提取关键时间节点和关键流程节点的视频帧，生成视频关键帧集合F_c＝{f_ci,i＝1,2,…N}；

所述的视频分析模块进行视频分析：读取第i个时间节点或第i个流程节点的视频帧f_di，和视频关键帧集合中的视频帧f_ci进行比对，来进行差异区域标记和信息提取；

首先，读取当前运行的第i个时间点或第i个流程节点的视频帧，并对其进行滤波处理；

读取存储的第i个关键帧，并对其进行滤波处理；

将二者滤波结果做差，并二值化，生成差值图像；

对于差值图像，进行数学形态学运算，去除噪声；

对于差值图像进行连通区域标记，确定差异区域；

对于每一个差异区域提取特征，生成视频数据信息；

在读取的当前运行的视频帧中，将相应区域用框进行标记，表示该处存在差异；

所述的异常监测与故障诊断模块，将现场实时的生产数据、监测数据和视频数据集成为事件数据，送至分类器进行分类，进行异常判别：

假设异常生产数据为d_op，监测数据为d_om，由视频数据提取的信息为d_ov，将三者合并为一条异常事件数据d_o＝{d_op,d_om,d_ov}，并生成异常事件数据集D_o＝{d_oi,i＝1,2,…}；

假设正常生产数据为d_np，监测数据为d_nm，由视频数据提取的信息为d_nv，将三者合并为一条正常数据d_n＝{d_np,d_nm,d_nv}，并生成正常数据集D_n＝{d_ni,i＝1,2,…}；

将异常事件数据集细分为子集，不同的子集对应不同的异常类别；采用机器学习的技术，以不同子集的异常数据和正常数据为训练数据，异常类别和无异常编码为类别号，进行分类训练，从而获得分类器，由此分类器来判别现场实时事件数据是否存在异常，如果存在异常，是哪种异常；

所述的异常监测和故障诊断模块，将异常时段的生产数据、监测数据和视频数据集成为事件数据组，送至分类器进行分类，进行异常原因分析：

假设异常事件数据为d_o＝{d_op,d_om,d_ov}，其发生时段形成的数据组为d_co＝{d_o(-k),…,d_o(-1),d_o,d_o(1),…,d_o(l)}，以此生成异常事件发生时段数据组集D_co＝{d_coi,i＝1,2,…}；

对异常事件数据组集进行标记：将异常事件数据组集细分为子集，不同的子集对应不同的异常原因；采用机器学习的技术，以不同子集的异常事件数据组为训练数据，异常原因为类别号，进行分类训练，从而获得分类器，由此分类器来进行故障诊断，分析异常发生的原因。