[发明专利]一种行为识别方法、装置及终端设备

说明书

本发明适用于行为识别领域，提供了一种行为识别方法、装置及终端设备，通过获取待检测行为的RGB视频流和深度视频流，再基于视频帧的排序关系对两者进行双向压缩排序，再将进行双向压缩排序的得到RGB视频流对应的图像和深度视频对应的图像分别输入至第一卷积神经网络和第二卷积神经网络中得到对应的行为预测结果，再根据该行为预测结果确定所述待检测行为的最终行为预测结果，通过根据双向压缩排序得到的行为预测结果确定最终行为预测结果，克服了对RGB视频流和深度视频流序列学习过程中的局部性和片面性，通过两者的互补性很好地避免了单一模态因受到外在因素而导致的行为识别不准确的问题，极大地提高了行为识别的准确率。

技术领域

本发明属于行为识别技术领域，尤其涉及一种行为识别方法、装置及终端设备。

背景技术

人体行为识别作为计算机视觉的一个重要研究分支，已经广泛应用于视频监控、视频分析、人机交互等方面。

目前，人体行为识别的实际应用场景越来越复杂，且对人体行为识别的精度和准确率要求越来越高，传统的手工特征设计方法已经不能满足实际应用中对识别准确度的需求。虽然深度学习方法的出现提高了行为识别的准确度，但对于单一模态(RGB模态或者深度模态)，则会因背景杂乱、遮挡摄像头移动和光线变化等外在因素而降低行为识别的准确率，因而，有必要提高单一模态中的行为识别准确率。

发明内容

有鉴于此，本发明实施例提供了一种行为识别方法、装置及终端设备，以解决现有RGB模态或深度态等单一模态中的行为识别准确率不高的问题。

本发明实施例的第一方面提供了一种行为识别方法，包括：

一种行为识别方法，其特征在于，所述行为识别方法包括：

获取待检测行为的视频流，所述待检测行为的视频流包括RGB视频流和深度视频流；

基于视频帧的排序关系，分别对所述RGB视频流和所述深度视频流进行双向压缩排序，得到所述RGB视频流对应的图像和所述深度视频对应的图像；

将所述RGB视频流对应的图像输入至第一卷积神经网络进行特征学习，得到所述RGB视频流对应的行为预测结果；

将所述深度视频流对应的图像输入至第二卷积神经网络进行特征学习，得到所述深度视频流对应的行为预测结果；

基于将所述RGB视频流对应的行为预测结果和所述深度视频流对应的行为预测结果，确定所述待检测行为的最终行为预测结果。

本发明实施例的第二方面提供了一种行为识别装置，包括：

视频流获取单元，用于获取待检测行为的视频流，所述待检测行为的视频流包括RGB视频流和深度视频流；

双向压缩排序单元，用于基于视频帧的排序关系，分别对所述RGB视频流和所述深度视频流进行双向压缩排序，得到所述RGB视频流对应的图像和所述深度视频对应的图像；

第一图像输入单元，用于将所述RGB视频流对应的图像输入至第一卷积神经网络进行特征学习，得到所述RGB视频流对应的行为预测结果；

第二图像输入单元，用于将所述深度视频流对应的图像输入至第二卷积神经网络进行特征学习，得到所述深度视频流对应的行为预测结果；

行为确定单元，用于基于将所述RGB视频流对应的行为预测结果和所述深度视频流对应的行为预测结果，确定所述待检测行为的最终行为预测结果。

本发明实施例的第三方面提供了一种终端设备，包括：

存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本发明实施例的第一方面提供的行为识别方法的步骤。

其中，所述计算机程序包括：