[发明专利]设备动作检测方法、装置、电子设备及可读存储介质

说明书

本申请提供一种设备动作检测方法、装置、电子设备及可读存储介质。方法包括：从拍摄待测设备得到的第一视频中提取第一视频的第一光流特征，以及根据预设采样策略从第一视频中采样得到多个图像帧；将第一光流特征调整为与多个图像帧的通道数相同的第二光流特征；将第二光流特征和多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由动作检测模型对第二光流特征和多个图像帧进行检测所输出的检测结果，检测结果包括表征待测设备的操作动作是否异常的信息，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。

技术领域

本申请涉及人工智能领域，具体而言，涉及一种设备动作检测方法、装置、电子设备及可读存储介质。

背景技术

随着人工智能在工业质检的应用愈发普及，利用摄像头，采集实时画面，再结合机器视觉及大数据分析等多项能力，构建智能工厂成为工业发展的一个趋势。比如，在生产制造行业，需要检测设备的操作动作是否异常。现有的检测模型主要是基于实数的神经网络模型，采集的特征单一，从而影响模型识别的准确性。比如，基于监控视频，在进行设备动作检测识别时，仅采集图像帧以获取图像特征，存在遗漏其他特征的情况，从而影响检测模型识别的准确性与可靠性。

发明内容

本申请实施例的目的在于提供一种设备动作检测方法、装置、电子设备及可读存储介质，能够改善对设备操作动作检测识别的准确性和可靠性低的问题。

为了实现上述目的，本申请的实施例通过如下方式实现：

第一方面，本申请实施例提供一种设备动作检测方法，所述方法包括：

从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；

将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；

将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。

在上述的实施方式中，通过提取第一视频中的第一光流特征及多个图像帧以作为复数特征，如此，可以从多个模态对视频进行特征提取，然后由动作检测模型对复数特征进行检测，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。

结合第一方面，在一些可选的实施方式中，将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，包括：

将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；

通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；

通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；

通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。

在上述的实施方式中，动作检测模型可以对第二光流特征和多个图像帧进行融合以得到高阶特征，然后由动作检测模型对高阶特征进行检测，从而提高对待测设备的操作动作检测的准确性与可靠性。

结合第一方面，在一些可选的实施方式中，根据预设采样策略从所述第一视频中采样得到多个图像帧，包括：

从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；