[发明专利]一种基于生成尺度自适应真值图的目标计数方法

权利要求书

1.一种基于生成尺度自适应真值图的目标计数方法，其特征在于：包括如下步骤：

步骤1：针对要解决的目标计数任务，设计计数神经网络；

其中，计数神经网络的输入是一张包含待计数目标的图像，输出是相应的估计密度图和估计目标总数；

步骤2：制作目标计数数据集，并将该计数数据集划分为测试集和训练集两个部分；

其中，目标计数数据集，用于对步骤1输出的神经网络进行训练、测试与评估，训练集中的样本数目要比测试集的多；所述目标计数数据集包括一定数目的样本，每个样本包括两部分内容：

1)样本图像：即含待计数目标的图像；

2)样本目标坐标集：由样本图像所含目标中心的坐标组成的有序二维数组；

步骤2中制作目标计数数据集，包括如下两种方式：

方式1)根据目标计数任务，下载相应的现有数据集作为目标计数数据集；

方式2)自主设计并制作目标计数数据集；

步骤3：对步骤2输出的目标计数数据集中的每一个样本，生成对应的尺度自适应真值密度图；

基于样本生成尺度自适应真值密度图，具体包括如下子步骤：

步骤3.1对样本图像进行灰度化、直方图均衡化、降噪及纹理分割，输出边缘检测结果；

步骤3.2对步骤3.1输出的边缘检测结果进行阈值分割，生成目标边缘标记图；

其中，目标边缘标记图标记了样本图像中所有目标的轮廓边缘，其点值具体为：目标边缘所在点值为1，其他点值为0；

步骤3.3基于样本目标坐标集，生成目标散点图；

其中，目标散点图反映了目标在样本图像中的位置分布；

步骤3.4将步骤3.2输出的目标边缘标记图和步骤3.3输出的坐标散点图相加，得到目标位置轮廓标记图；

步骤3.5提取步骤3.4输出的目标位置轮廓标记图中所有非零点的坐标，形成目标位置轮廓坐标集；

其中，目标位置轮廓标记图中的非零点，具体由目标中心点和目标轮廓点组成；

具体的，目标中心点指的是样本图像中所有目标的中心点；目标轮廓点指的是样本图像中所有目标的轮廓所在的点；

步骤3.6对样本目标坐标集中的每一个元素，找出步骤3.5输出的目标位置轮廓坐标集中与其相等的元素的索引，形成目标坐标索引集；

步骤3.7对步骤3.5输出的目标位置轮廓坐标集，使用k近邻算法，找出该坐标集中每个坐标的k个最近邻，并得到相应的距离矩阵；

其中，某坐标点的k个最近邻，指的是在所给坐标集中，按照与该坐标点距离由近到远的顺序，依次找出的k个点；

步骤3.8按照步骤3.6输出的目标坐标索引集中索引号的排列顺序，依次将步骤3.7输出的距离矩阵中相应的索引行提取出来，组成目标尺寸矩阵；

步骤3.9对步骤3.8输出的目标尺寸矩阵按行求和，并将结果除以k-1，再向上取整，形成目标尺寸集；

步骤3.10基于样本目标坐标集和步骤3.9输出的目标尺寸集，生成样本真值密度图；

步骤3.10，具体包括如下子步骤：

步骤3.10.1对样本目标坐标集中的每一个标记坐标，依次单独生成散点图，形成散点图集；

其中，散点图集中的每一个散点图，都是与样本图像同尺寸的含有0,1两种值的二值矩阵，并且只有一个点值为1，即对应标记坐标处的点；

步骤3.10.2对步骤3.10.1输出的散点图集中的每一个散点图，依次进行变高斯核尺寸的高斯滤波，生成单目标密度图集；

其中，高斯核的大小为g×g，g依次取步骤3.9输出的目标尺寸集的元素，即对每个散点图进行滤波时，高斯核的大小与该散点图标记的目标的尺寸相同；

每一个散点图的高斯滤波结果，为同尺寸的单目标密度图，包含对应散点图所标记的目标的位置和尺度信息，其点值具体为：在以散点图的1值点为中心，以该点标记的目标的尺寸为半径的范围内，从中心点的最高值，按高斯分布，逐渐减小到0；此外，对单目标密度图中的所有点值求和，结果为1；

步骤3.10.3将步骤3.10.2输出的单目标密度图集中的所有单目标密度图相加，得到样本真值密度图；

其中，对真值密度图的所有点值求和，结果为样本图像中含有的目标总数的真值；

步骤4：对步骤1输出的计数神经网络进行初始化；

其中，计数神经网络的初始化，具体指为神经网络的每一个参数赋初值；

步骤5：对计数神经网络的训练进行设置，具体包括如下几项：a)训练的轮数，epoch；b)训练集的训练批次大小，batchsize；c)损失函数；d)神经网络的优化方法；

步骤6：基于步骤5对神经网络训练的设置，将步骤2输出的目标计数数据集的训练集，输入步骤4输出的初始化后的计数神经网络中，对网络进行训练，得到训练好的计数神经网络；

其中，对计数神经网络的训练，具体包括如下几个子步骤：

步骤6.1每次从步骤2输出的目标计数数据集的训练集中，取出batchsize个样本，将其样本图像依次输入计数神经网络进行计算，依次输出估计密度图；

步骤6.2基于步骤6.1输出的估计密度图和所取样本在步骤3中输出的真值密度图，按步骤5设置的损失函数公式，计算损失函数；

步骤6.3基于步骤6.2输出的损失函数，利用步骤5设置的优化方法，更新计数神经网络的各个参数；

步骤6.4对步骤6.1到步骤6.3的过程进行循环，直到对步骤2输出的计数数据集的训练集遍历完epoch次；

步骤7：将步骤2输出的计数数据集的测试集，输入步骤6输的训练好的计数神经网络中，测试网络的性能；

其中，性能的测试，具体包括如下两部分内容：

7.1)测试损失：对输入的测试集样本图像，计数神经网络输出的估计密度图与真值密度图的差距，用损失函数来衡量；

7.2)测试精度：对测试集样本计数结果的准确度；

步骤7，具体包括如下几个子步骤：

步骤7.1将步骤2输出的计数数据集的测试集中的每一个样本，输入步骤6训练好的计数神经网络中，输出相应的估计密度图；

步骤7.2按照步骤5设置的损失函数，计算步骤7.1输出的每一个样本的估计密度图与对应真值图的损失函数值，观察其数量级，从而评估模型的测试损失；

步骤7.3对步骤7.1输出的每一个样本的估计密度图的所有点值进行求和，得到对应样本的目标计数结果的估计值；

步骤7.4基于步骤7.3输出的每个样本计数结果的估计值，评估模型的测试精度。