[发明专利]一种垃圾车翻桶动作识别方法、装置及垃圾车

说明书

本发明公开了一种垃圾车翻桶动作识别方法、装置及垃圾车，所述方法包括步骤：提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。本发明在车载边缘计算单元的计算能力受限时，通过对整个翻桶过程中的每一帧图像的目标检测结果的统计分析，对垃圾箱的颜色、容量和数量信息做出判断，大幅度提升对翻桶过程及相应垃圾桶的信息识别准确率。

技术领域

本发明涉及计算机视觉领域，特别地，涉及一种垃圾车翻桶动作识别方法、装置及垃圾车。

背景技术

随着环境污染和垃圾处理问题的日渐显现，社会对垃圾分类回收的重视程度越来越高。对于收集垃圾箱的翻桶式垃圾车而言，如何监督车辆操作人员的操作规范以及统计他们的工作量是一项重要议题。对垃圾车的翻桶数据进行采集和统计是一个很好的思路。通过收集和统计翻桶过程中垃圾箱颜色、规格、数量、容量可以用来判断该垃圾车所收的垃圾箱是否符合其规定收集的垃圾分类标准，也可以对环卫工作人员的工作量进行统计，作为垃圾车路线调度和工人绩效计算的重要基础。

近几年来，基于深度学习的目标检测算法取得了很大的突破。然而，考虑到成本和能耗，可以在垃圾车的这项工作中使用的边缘计算单元的计算能力远远小于一般动作识别所需要的计算能力，计算能力的局限性使得一些复杂的目标检测算法无法部署。此外，效果良好的动作识别算法大多是基于视频样本实现的，清楚地标明了动作的开始和结束。由于在车载边缘计算单元的计算能力有限，因此不能使用视频数据集，同时，正是因为车载边缘计算单元的计算能力有限，其搭载的对象检测模型(例如YOLOv3-tiny)的准确性通常也较低，物体检测的边界框尺寸在连续帧中不稳定，因此也不能直接由像素区域尺寸来确定。另外，因不同规格的垃圾箱外观相同，只是大小不同，无法通过2D图像的目标检测直接区分它们。以上问题，最终都会导致基于深度学习进行采集和统计翻桶数据难以达到所需的精度，识别结果错误会导致数据统计不准，从而降低了垃圾车翻桶数据的准确性和可靠性。

发明内容

本发明一方面提供了一种垃圾车翻桶动作识别方法，以解决现有的垃圾车因车载边缘计算单元的计算能力有限导致的垃圾车翻桶数据的准确性和可靠性较低的问题。

本发明采用的技术方案如下：

一种垃圾车翻桶动作识别方法，包括步骤：

提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；

在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；

将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。

进一步地，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：

根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；

提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。

进一步地，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：

获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；