[发明专利]一种基于3D神经网络的动态行为识别方法及系统

说明书

本发明实施例提出了一种基于3D神经网络的动态行为识别方法及系统，包括：步骤一、实时获取行人动态信息；步骤二、构建神经网络，接收步骤一中的动态信息并提取行为特征；步骤三、根据神经网络分配结果，预测行人接下来的动作；步骤四、根据预测结果，发出警示指令，辅助驾驶员做出正确判断。本发明中进行行人动态行为识别的神经网络采用3D神经网络，通过时间维度的引入以及训练集针对错帧的处理，提高行人行为的准确预测，且本发明使用的3D神经网络以普通3D神经网络为基础，并将卷积核拆分为空间域和时间域两种卷积核，同时引入残差网络优化网络结构，达到减少参数设置的目的。

技术领域

本发明涉及一种基于3D神经网络的动态行为识别方法及系统，特别是G06T图像处理或产生技术领域。

背景技术

随着深度学习的兴起，针对真实场景中的目标识别、人体行为分析在图像识别领域有了较大的推广，其中卷积神经网络在图像特征提取上拥有突出的表现。

然而现有技术中，基于卷积神经网络的特征提取都是针对单张图片进行二维图像的卷积操作，而人体行为多为一系列连贯动作，即每相邻视频帧都有动作关联，单一的2D卷积操作忽略了视频流信息，因此在行为识别领域难以达到较高的准确率。

发明内容

发明目的：一个目的是提出一种基于3D神经网络的动态行为识别方法，以解决现有技术存在的上述问题。进一步目的是提出一种基于3D神经网络的动态行为识别系统。本发明实施例在进行行人动态行为预测的过程中，通过对数据集的预先处理和网络识别模型的结构优化，实现预测结果准确率的提升，以及避免信息冗余。

第一方面，提供了一种基于3D神经网络的动态行为识别方法，该方法包括：

实时获取行人动态图像信息；

构建网络识别模型，并利用网络识别模型提取动态图像信息的特征信息；

网络识别模型根据特征信息进行行为预测，并输出预测结果；

车载预警设备根据预测结果，发出警示指令，辅助驾驶员做出判断。

在第一方面的一些可实现方式中，获取行人动态图像信息进一步为：在车辆行驶过程中，通过车载预警设备的车载摄像头实时获取路边行人的动态图像信息，并以视频流的数据格式，发送至网络识别模型进行动态图像信息的特征信息提取。

在第一方面的一些可实现方式中，网络识别模型进一步为在3D神经网络中引入残差网络，其中，3D神经网络中的3D卷积核进一步划分为空间域卷积核、时间域卷积核。其中，空间域卷积核用于获取动态图像信息的空间特征信息；时间域卷积核用于获取动态图像信息的时空特征信息。

在第一方面的一些可实现方式中，残差网络结构为：

式中，表示输入，表示输出，表示待训练的参数集合，表示残差函数；输入通过中间残差函数对权重和偏置参数进行学习，并将输入直接连接到输出形成残差结构。

在第一方面的一些可实现方式中，提取动态图像信息的特征信息流程进一步为：

网络识别模型接收动态图像信息；其中，动态图像信息具体为连续的视频帧图像；

根据接收到的动态图像信息，对动态图像信息进行图像处理；

网络识别模型的卷积核，对经过图像处理后的动态图像信息进行特征信息的提取。

在第一方面的一些可实现方式中，图像处理进一步为：对所述连续的视频帧图像进行硬连线核处理，且每帧图像提取5个通道的信息，分别为灰度图、横坐标梯度图、纵坐标梯度图、x 方向光流图、y 方向光流图，同时在通道信息提取前进行图像增强操作；