[发明专利]一种基于自我注意力机制的行为识别方法

说明书

本发明公开一种基于自我注意力机制的行为识别方法，该方法采用基于多角度注意机制的关键帧目标位置预测和连续帧动作类别预测模块，在完成连续帧动作检测的同时，可以实现目标定位功能。方法中以基于多角度注意机制的关键帧目标位置预测和连续帧动作类别预测模块代替3D卷积网络，解决了3D卷积网络模型计算量较大的问题，并提高了模型在GPU上的并行计算能力，同时，基于多角度注意机制的关键帧目标位置预测和连续帧动作类别预测模块，可避免因为3D卷积在不同深度学习框架下，模型转换或部署时兼容性较弱的问题。

技术领域

本发明涉及一种基于自我注意力机制的行为识别方法，属于人体动作识别领域。

背景技术

动作识别通过提取连续视频帧的动作特征，实现动作分类分类任务，在实际中避免可能存在的危险行为的发生，实际应用场景广泛。

现有的动作识别方法，均以3D卷积为基础，用于提取时间序列下的连续帧特征，提高算法对时间序列下图像特征的提取能力，增加动作识别精度。相对于2D卷积而言，3D卷积需要考虑时间轴特征，导致核参数大为增加。同时，3D作为一种新的计算方式，在不同深度学习框架下，对3D卷积的支持程度较差，影响了基于3D卷积的动作识别算法的实际应用性。

发明内容

针对现有技术的缺陷，本发明提供一种基于自我注意力机制的行为识别算法，该方法使用自我注意力机制替代原用3D卷积操作，用于连续帧图像的时序特征提取，实现对于连续帧的动作检测及目标定位任务。

为了解决所述技术问题，本发明采用的技术方案是：一种基于自我注意力机制的行为识别方法，包括以下步骤：

S01)、连续帧图像读取：

以关键帧为首帧图像，读取连续时间序列下的连续帧图像数据，并构建位置编码矩阵；

位置编码矩阵是一个维度为[H,W]的全1矩阵，其中H、W表示读取图像的高度和宽度；

S02)、基于2D卷积骨干网络进行图像特征提取：

将读取的连续帧图像数据的每一帧输入2D卷积骨干网络，获取每一帧的图像特征，并将每一帧的特征图片进行拼接，从而获取连续帧特征图，关键帧图像为连续帧图像数据中的第一帧，则关键帧的特征图取连续帧特征图的第一帧，即key_frame＝clip_frame[0]，key_frame表示关键帧特征图，clip_frame表示连续帧特征图；

S03)、位置编码：

将步骤S01的位置编码矩阵按列方向进行逐列累加，获得矩阵x_embed；

将步骤S01的位置编码矩阵按列方向进行逐列累加，获得矩阵y_embed；

对矩阵x_embed、y_embed进行优化，获得优化后的结果PE_{x_embed},PE_{y_embed}，将PE_{x_embed},PE_{y_embed}按第3维度进行拼接，并进行维度顺序变换，获得最终的位置编码矩阵；

由于关键帧数据与连续帧数据用在相同的图像处理过程，因此设定关键帧位置编码矩阵与连续帧位置编码矩阵相同，即key_mask＝clip_mask，key_mask表示关键帧位置编码矩阵，clip_mask表示连续帧位置编码矩阵；

S04)、关键帧图像目标位置预测：

S41)、使用单层2D卷积网络对关键帧特征图进行通道压缩，使用线性连接层对关键帧位置编码矩阵进行宽高压缩，通道压缩后的关键帧特征图与宽高压缩后的关键帧位置编码矩阵具有相同的维度；

S42)、将通道压缩后的关键帧特征图与宽高压缩后的关键帧位置编码矩阵输入关键帧图像目标预测模块，关键帧图像目标预测模块进行关键帧图像目标位置预测；