[发明专利]融合RGBD多模态信息的行人轮廓跟踪方法

权利要求书

1.一种融合RGBD多模态信息的行人轮廓跟踪方法，其特征在于，包括以下步骤：

S1：构建行人目标置信图获取模型，包括RGB目标分割卷积网络模块，Depth目标分割卷积网络模块、特征图叠加模块、卷积模块和置信图融合模块，其中：

RGB目标分割卷积网络模块以RGB图像作为输入，输出为行人目标分割的置信图T_RGB，将最后一层特征图F_RGB输出至特征图叠加模块，将置信图T_RGB输出至融合模块；

Depth目标分割卷积网络模块以RGB图像对应的Depth图像作为输入，输出为行人目标分割的置信图T_Depth，将最后一层特征图F_Depth输出至特征图叠加模块，将置信图T_Depth输出至融合模块；

特征图叠加模块对特征图F_RGB和特征图F_Depth进行叠加，得到特征图F_sw并输出至卷积模块；

卷积模块用于对特征图F_SW进行卷积操作，得到概率转换图SW并输出至融合模块，其中卷积操作表达式如下：

SW＝h(W_SW*F_SW+b_SW)

其中，W_SW和b_SW分别为1*1卷积核的权重参数和偏置项权重参数，h(·)表示激活函数；

置信图融合模块根据概率转换图SW，对接收的置信图T_RGB、置信图T_Depth进行融合，得到融合后的置信图T_fused，其中融合操作表达式如下：

T_fused＝SW⊙T_RGB+(1-SW)⊙T_Depth

其中，⊙表示对应元素相乘；

S2：获取若干训练样本，每个训练样本包括包含行人目标的RGB图像、对应Depth图像以及行人目标分割标签，行人目标分割标签用于表征各个像素是属于行人目标还是背景；

S3：对行人目标置信图获取模型采用以下方法进行训练：

S3.1：采用训练样本中的RGB图像作为输入，对RGB目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；

S3.2：采用训练样本中的Depth图像作为输入，对Depth目标分割卷积网络模块进行训练，训练过程中对输出的置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；

S3.3：将行人目标置信图获取模型中RGB目标分割卷积网络模块按照步骤S3.1的训练结果进行初始化，Depth目标分割卷积网络模块按照步骤S3.2的训练结果进行初始化，采用训练样本中的RGB图像作为RGB目标分割卷积网络模块的输入，对应的Depth图像作为Depth目标分割卷积网络模块的输入，对行人目标置信图获取模型进行训练，训练过程中对输出的融合置信图采用阈值法获取行人目标分割结果，与行人目标分割标签进行误差计算；

S4：获取行人视频序列，手工标定第一帧图像中行人的轮廓，然后对于后续图像，将RGB图像和对应的Depth图像输入行人目标置信图获取模型，得到融合置信图，将融合置信图作为轮廓演化的外部能量输入引导轮廓进行演化，得到当前图像行人轮廓跟踪结果。

2.根据权利要求1所述的行人轮廓跟踪方法，其特征在于，所述RGB目标分割卷积网络模块和Depth目标分割卷积网络模块采用OSVOS网络，当OSVOS网络的输入为Depth图像时，需要将单通道的Depth图像转换成三通道的图像，具体方法为：首先对Depth图像进行空洞填充，然后对空洞填充后的Depth图像进行编码，生成三通道的RGB图像。