[发明专利]一种行为识别方法、装置及终端设备

权利要求书

1.一种行为识别方法，其特征在于，所述行为识别方法包括：

获取待检测行为的视频流，所述待检测行为的视频流包括RGB视频流和深度视频流；

基于视频帧的排序关系，分别对所述RGB视频流和所述深度视频流进行双向压缩排序，得到所述RGB视频流对应的图像和所述深度视频对应的图像；

将所述RGB视频流对应的图像输入至第一卷积神经网络进行特征学习，得到所述RGB视频流对应的行为预测结果，所述第一卷积神经网络中的第一层参数数量为三通道；

将所述深度视频流对应的图像输入至第二卷积神经网络进行特征学习，得到所述深度视频流对应的行为预测结果，所述第二卷积神经网络中的第一层参数数量为单通道；

基于将所述RGB视频流对应的行为预测结果和所述深度视频流对应的行为预测结果，确定所述待检测行为的最终行为预测结果。

2.如权利要求1所述的行为识别方法，其特征在于，所述双向压缩排序包括前向压缩排序和反向压缩排序，所述前向压缩排序为按照视频流的正向时间顺序对视频流中的所有视频帧进行压缩排序，所述反向压缩排序为按照视频流的反向时间顺序对视频流中的所有视频帧进行压缩排序。

3.如权利要求2所述的行为识别方法，其特征在于，所述基于视频帧的排序关系，分别对所述RGB视频流和所述深度视频流进行双向压缩排序，得到所述RGB视频流对应的图像和所述深度视频对应的图像的步骤，包括：

对所述RGB视频流进行前向压缩排序，得到所述RGB视频流对应的一张图像，即第一前向压缩图像；

对所述RGB视频流进行反向压缩排序，得到所述RGB视频流对应的另一张图像，即第一反向压缩图像；

对所述深度视频流进行前向压缩排序，得到所述深度视频流对应的一张图像，即第二前向压缩图像；

对所述深度视频流进行反向压缩排序，得到所述深度视频流对应的另一张图像，即第二反向压缩图像。

4.如权利要求3所述的行为识别方法，其特征在于，所述第一前向压缩图像、所述第一反向压缩图像、所述第二前向压缩图像和所述第二反向压缩图像中均包含有所述待检测行为的视频流中的每一帧视频帧的时间维度信息和空间维度信息。

5.如权利要求1所述的行为识别方法，其特征在于，在所述基于视频帧的排序关系，分别对所述RGB视频流和所述深度视频流进行双向压缩排序，得到所述RGB视频流对应的图像和所述深度视频对应的图像的步骤中，包括：

提取视频流中的视频帧的第一特征向量；

按照预设的特征向量计算公式，根据所述第一特征向量计算每个时间节点的第二特征向量；

基于视频帧的排序关系，根据所述第二特征向量和优化求解函数，计算得到若干个第一参数特征向量；

通过预设的映射函数，对若干个所述第一参数特征向量进行优化估计，得到第二参数特征向量；

根据所述第二参数特征向量，得到视频流对应的图像。

6.如权利要求5所述的行为识别方法，其特征在于，所述优化求解函数为：

其中，为支持向量机SVM优化中的二次项；为对应视频帧在排序过程中的得分的错误累加；d表示第一参数特征向量；T表示视频流的视频帧数；q和t表示两个不同的时间节点，并且qt，q,t∈[1,T]，T为正整数；S(t|d)表示时间节点为t时对应的视频帧的排序得分，S(q|d)表示时间节点为q时对应的视频帧的排序得分，其中，S(t|d)＝＜d,V_t＞,d∈R^d，＜d,V_t＞表示两向量的内积，V_t表示t时刻的第二参数特征向量，R^d表示维度为d的特征向量空间，ψ(I_τ)表示视频帧I_τ的第一特征向量，τ∈[1,t]。