[发明专利]一种垃圾车翻桶动作识别方法、装置及垃圾车

权利要求书

1.一种垃圾车翻桶动作识别方法，其特征在于，包括步骤：

提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；

在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；

将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。

2.根据权利要求1所述的垃圾车翻桶动作识别方法，其特征在于，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：

根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；

提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。

3.根据权利要求2所述的垃圾车翻桶动作识别方法，其特征在于，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：

获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；

若MaxAeraSize＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧，若为假则将当前帧图像的状态记为正在翻桶；

若MaxAeraSizeImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧，若为真，则将当前帧图像的状态记为未在翻桶。

4.根据权利要求3所述的垃圾车翻桶动作识别方法，其特征在于，

所述将当前帧图像的状态记为起始帧，具体包括步骤：

计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；

若TimeGap1Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；

所述将当前帧图像的状态记为结束帧，具体包括步骤：

计算从MaxAeraSize＝ImageShape×Ts到MaxAeraSizeImageShape×Ts的时间差TimeGap2；

若TimeGap2Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。

5.根据权利要求4所述的垃圾车翻桶动作识别方法，其特征在于，

若TimeGap2Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：

若TimeGap2Tt2，统计在TimeGap2期间识别的帧数S；

若STn时，将当前帧图像的状态记为结束帧，Tn为设定阈值。

6.根据权利要求1所述垃圾车翻桶动作识别方法，其特征在于，

提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像之前，还包括步骤：

采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型包括YOLOv3-tiny、Faster-RCNN。

7.根据权利要求1所述的垃圾车翻桶动作识别方法，其特征在于，

在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，包括步骤：

依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；

将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tsh_i的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Qua_i的指定元素中。