[发明专利]基于部分特征融合卷积神经网络实时目标计数系统及方法

权利要求书

1.一种基于部分特征融合卷积神经网络实时目标计数系统，其特征在于，包括：

数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；

网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练，部分特征融合在本网络中以全局特征融合和局部特征融合两种形式存在，在全局特征融合上，本网络将1/2尺度和1/4尺度中由最后一层卷积层生成的特征图各取1/4作为全局性的特征信息与1/8尺度的特征图相连接，在局部特征融合上，1/2尺度中第一层卷积层输出的特征图的1/2经过池化操作后与1/4尺度特征图连接；

目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测；

其中，所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层；所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数；所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积；

所述部分特征融合卷积神经网络模型分为两部分，前十层卷积层为提取器，后两层卷积层为融合器，具体地，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。

2.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集其中X_i为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集中图像X_i中所有目标的中心位置；标注完成可得训练集其中X_i为训练集中第i张图像，大小为m×n；P_i是第i张图像中目标中心坐标的信息，大小为c_i×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，c_i为该图像中的目标数；N为训练集的数量。

3.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据P_i中目标中心的坐标信息，生成X_i图像的密度图M_i，其中P_i是第i张图像中目标中心坐标的信息，X_i为训练集中第i张图像，得到处理好的训练集用于训练网络。

4.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练的方法为：使用处理好的训练集训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为其中Θ为网络学习的参数，且F(X_i；Θ)为网络对第i张图像的估计密度图。

5.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：所述部分特征融合卷积神经网络模型分为两部分，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。

6.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：根据给定的图像，使用训练好的网络进行预测图像中的目标数量的方法为：从视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图M_p，M_p为与图像P尺寸相同的二维矩阵，对M_p进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(M_p)。

7.一种基于部分特征融合卷积神经网络实时目标计数方法，其特征在于，包括如下步骤：

使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；

建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练，部分特征融合在本网络中以全局特征融合和局部特征融合两种形式存在，在全局特征融合上，本网络将1/2尺度和1/4尺度中由最后一层卷积层生成的特征图各取1/4作为全局性的特征信息与1/8尺度的特征图相连接，在局部特征融合上，1/2尺度中第一层卷积层输出的特征图的1/2经过池化操作后与1/4尺度特征图连接；

根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测；

其中，所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层；所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数；所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积；

所述部分特征融合卷积神经网络模型分为两部分，前十层卷积层为提取器，后两层卷积层为融合器，具体地，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。