[发明专利]一种固定摄像机下的运动目标位置预测方法及装置

说明书

本发明提供了一种固定摄像机下的运动目标位置预测方法及装置，其中方法包括：获取待预测数据，将待预测数据送入用于目标位置预测的神经网络模型，利用用于目标位置预测的神经网络模型对待预测数据进行预测，待预测数据包括视频数据和待预测时间间隔t，视频数据包括K帧RGB 3通道的图片；将K帧RGB 3通道的图片和待预测时间间隔t组合为4通道的K×H×W大小的立体；将4通道的K×H×W大小的立体送入3D深度卷积残差网络，提取特征，输出不同尺度的特征图；采用特征金字塔对不同尺度的特征进行融合，得到2D多通道的特征图；利用2D多通道的特征图，对待预测层目标位置进行预测，得到目标位置预测结果。

技术领域

本发明涉及计算机领域，尤其涉及一种固定摄像机下的运动目标位置预测方法及装置。

背景技术

运动目标位置的预测是导盲设备的关键技术，导盲设备如导盲眼镜通常配备单目摄像机，如何从单目摄像机获取的视频中定位目标、预测目标的位置对于自身状态估计与路径规划至关重要。

现有运动目标位置预测技术通常分为两个阶段，首先采用视频目标检测和目标跟踪算法获取目标现在和历史位置，然后采用预测模型如循环神经网络或树搜索等算法预测目标未来的轨迹。这些方法的不足在于基于规则的方法难以枚举所有情况，而采用循环神经网络方法通常受模型容量的制约，且无法进行端到端训练，累积误差导致预测不稳定，影响预测精度。

发明内容

本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的固定摄像机下的运动目标位置预测方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种固定摄像机下的运动目标位置预测方法，包括：获取待预测数据，将待预测数据送入用于目标位置预测的神经网络模型，利用用于目标位置预测的神经网络模型对待预测数据进行预测，其中，待预测数据包括视频数据和待预测时间间隔t，视频数据包括K帧RGB 3通道的图片；其中，利用用于目标位置预测的神经网络模型对待预测数据进行预测包括：将k帧RGB 3通道的图片和待预测时间间隔t组合为4通道的k×H×W大小的立体；将4通道的k×H×W大小的立体送入3D深度卷积残差网络，提取特征，输出不同尺度的特征图；采用特征金字塔对不同尺度的特征进行融合，得到2D多通道的特征图；利用2D多通道的特征图，对待预测层目标位置进行预测，得到目标位置预测结果。

其中，方法还包括：训练用于目标位置预测的神经网络模型；训练用于目标位置预测的神经网络模型包括：获取标注数据，其中，标注数据包括多段视频和每段视频每一帧感兴趣目标的编号及位置，其中位置包括边界框；对标注数据进行抽取，生成训练数据，训练数据包括N对数据单元，每一对数据单元包括一个输入视频片段和多组与输入视频片段对应的标注；利用训练数据训练用于目标位置预测的神经网络模型。

其中，输入视频片段通过以下方式生成：在原视频V按预设方式选取开始点t₁和序列长度K后，生成输入视频片段{V[t₁-K],…,V[t₁-1],V[t₁]}。

其中，标注通过如下方式生成：对每个待预测时间间隔t∈{1,4,8,16,32}，找到视频t₁+t时刻的感兴趣目标的标注，获取所有目标的位置，并根据目标的编号判定t₁时刻出现的每个目标是否出仍然在视频中，移除新出现目标的位置，得到之前视频中的目标在t时刻后所有感兴趣目标的位置。

其中，利用训练数据训练用于目标位置预测的神经网络模型包括：利用模型预测与真实值的差异作为监督信号，采用梯度下降的方法进行优化。