[发明专利]基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质

说明书

本发明公开了基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质，所述分析方法包括：首先，利用基于注意力机制目标检测的方法，将生产环境下有效的设备和工人行为识别出来，剔除了无关的工厂环境和无效的设备；其次，对识别出来不同的设备和工人行为使用恰当的视频分析方法进行有针对性的分析，提高了分析速度和准确率；最后，利用分析出来的结果进行效率计算和异常事件分析，实现了应用于工厂的设备综合效率智能分析，自适应能力强、精度好、效率高。

技术领域

本发明涉及视频图像分析技术领域，特别是涉及基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质。

背景技术

智能制造是具有信息自感知、自决策、自执行等功能的先进制造过程、系统与模式的总称，具体体现在制造过程的各个环节与新一代信息技术深度融合，新一代信息技术包括物联网、大数据、人工智能等。智能制造大体具有四大特征：以智能工厂为载体，以关键制造环节的智能化为核心，以端到端数据流为基础，以网通互联为支撑。

随着智能制造的发展，工厂车间趋于无人化与全自动管理，如何在无人的环境下管理好工厂车间，确保车间的正常运行与生产效率已经成为迫在眉睫的问题。随着近几年人工智能的高速发展，视频分析技术也得到了快速发展和应用，视频分析技术接入各种摄像机以及DVR、DVS及流媒体服务器等各种视频设备，通过智能化图像识别处理技术，对车间状态进行监控，通过实时分析，将分析数据传导综合监控平台及客户端。

工厂的生产车间的状况复杂，在进行智能监控时通常至少面临如下问题：

首先，生产车间内各类机器、搬运车辆、辅助器械等物体较多，时常彼此遮挡，不同工序操作的相似性以及车间内频繁的光线强弱变化，都给视频、图像的分析与识别带来了挑战，传统的视频图像分析方法对整张帧进行处理，自适应性不强，直接在工厂环境下应用效果欠佳。

其次，生产制造过程中各工序特征不一，具有工作时间不明确、工件复杂等弊端，传统的单模型视频、图像分析模型直接应用时鲁棒性弱、效率较低。

在工厂的车间环境下，由于智能监控存在诸多问题，因此在进行设备综合效率分析时，通常采用人工记录的方式，效率较低，且可靠性不高。

发明内容

基于此，针对生产车间内的设备综合效率分析问题，提供一种基于注意力机制目标检测的设备综合效率分析方法，提高设备综合效率分析的效率以及可靠性。

基于注意力机制目标检测的设备综合效率分析方法，包括如下步骤：

获取生产环境的监控视频，利用目标识别模型对监控视频中的至少三个连续帧进行识别，得到各帧中包含待分析对象的感兴趣区域；

根据待分析对象的不同，对各感兴趣区域进行如下处理中的一种：

利用帧间差分法识别待分析对象的工作状态；

利用基于HSV空间的帧间差分法识别待分析对象的工作状态；

利用基于ORB特征的特征匹配方法识别待分析对象的工作状态；

根据待分析对象的工作状态，计算设备综合效率。

本发明在进行智能制造下的视频图像分析时，使用加入了注意力机制的目标识别模型，能够快速准确的识别判断生产车间内与设备综合效率(Overall EquipmentEffectiveness，简称oee)相关的各待分析对象的工作状态，从而实时智能监测车间内的异常状态，优化全自动生产制造过程。

本发明可以实施在各种生产环境下的车间，例如厚板制造流水线车间。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。