[发明专利]视频流特征识别方法、装置、设备及存储介质

说明书

本发明实施例公开了一种视频流特征识别方法、装置、设备及存储介质，包括：获取查询时序样本和注册时序样本；将两个样本分别输入至第一卷积神经网络，以得到每个样本对应的特征张量；将每个样本的特征张量分别输入至第二卷积神经网络，以分别得到查询位置向量及注册位置向量；将查询时序样本对应的特征张量和查询位置向量输入至第三卷积神经网络，以得到查询图像级表征，按照同样方式得到注册图像级表征；基于查询图像级表征和注册图像级表征确定查询时序级表征及注册时序级表征；基于注册时序级表征，在注册时序样本中选择与查询时序级表征相似度最高的注册特征作为查询时序样本的检索结果。上述方法可以快速准确地在视频流中实现行人特征提取。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种视频流特征识别方法、装置、设备及存储介质。

背景技术

随着人工智能的发展，人工神经网络被广泛的应用于各个领域。例如，将人工神经网络应用于智能化视频监控领域。其中，在智能化视频监控领域中，行人重识别技术是重要子任务之一。行人重识别技术需要利用计算机视觉技术判断图像或视频序列中是否存在目标行人，从而实现对目标行人跨镜头跟踪。

目前，行人重识别技术主要分为基于图像的检索问题和基于视频流的检索问题。其中，基于视频流的检索问题主要算法有：卷积神经网络-递归神经网络模型、累计运动背景网络模型以及基于注意力机制的时空模型。然而，上述算法均需要利用光流图特征作为模型的输入，而光流图在现实场景的运用并不可靠，且抗干扰能力差。同时，上述算法的卷积操作均需要运用2D卷积神经网络模型，而对于一定长度的时序图像，2D卷积神经网络模型仅能对每一帧图像进行2D卷积处理以实现特征提取，这样会导致计算量大、计算效率低且时间维度信息不完整。综上，如何快速准确在视频流中提取行人的特征信息成为了亟需解决的问题。

发明内容

本发明提供了一种视频流特征识别方法、装置、设备及存储介质，以快速准确地在视频流中实现行人特征提取。

第一方面，本发明实施例提供了一种视频流特征识别方法，包括：

获取查询时序样本和注册时序样本，所述查询时序样本和所述注册时序样本均为视频流中时间连续的多帧图像；

将两个样本分别输入至第一卷积神经网络，以分别得到每个样本中各图像对应的特征张量；

将每个样本对应的特征张量分别输入至第二卷积神经网络，以分别得到查询时序样本中各查询特征的查询位置向量及注册时序样本中各注册特征的注册位置向量，所述查询特征和所述注册特征均为对应图像中包含的特征；

将查询时序样本对应的特征张量和查询位置向量作为第一输入并输入至第三卷积神经网络，以得到各查询特征在同时间维度下的查询图像级表征，并将注册时序样本对应的特征张量和注册位置向量作为第二输入并输入至第三卷积神经网络，以得到各注册特征在同时间维度下的注册图像级表征；

基于查询图像级表征和注册图像级表征确定各查询特征的查询时序级表征及各注册特征的注册时序级表征；

基于注册时序级表征，在注册时序样本中选择与查询时序级表征相似度最高的注册特征作为查询时序样本的检索结果。

进一步的，所述第一卷积神经网络包括：N个卷积层，N≥2，每个卷积层包括至少两个子卷积层，每个子卷积层的卷积核的大小为h*w*K*c，其中，h为卷积核中每个矩阵的高，w为卷积核中每个矩阵的宽，K为前一层的输出通道数，c为卷积核的深度。

进一步的，N＝4，其中，第一卷积层包括两个第一子卷积层，每个第一子卷积层的卷积核的大小为3*3*3*64；

第二卷积层包括两个第二子卷积层，每个第二子卷积层的卷积核的大小为3*3*64*128；

第三卷积层包括三个第三子卷积层，每个第三子卷积层的卷积核的大小为3*3*128*256；