[发明专利]一种室外场景三维彩色点云分类方法

权利要求书

1.一种室外场景三维彩色点云分类方法，其特征在于包括以下步骤：

步骤1、获取室外场景三维彩色点云数据，利用三维激光彩色扫描测距系统，获取室外场景三维彩色点云数据P＝{p_i＝(x_i,y_i,z_i,r_i,g_i,b_i)|1≤i≤n}，其中：p_i为彩色点，(x_i,y_i,z_i)为彩色点p_i的坐标，(r_i,g_i,b_i)为彩色点p_i的颜色，i为彩色点的序号，n为彩色点的个数，室外场景三维彩色点云数据由点云数据S＝{(x_i,y_i,z_i)|1≤i≤n}和图像数据C＝{(r_i,g_i,b_i)|1≤i≤n}两种模态融合而成，兼具点云几何信息和图像颜色信息；

步骤2、构建室外场景三维彩色点云数据训练集，利用点云交互标记软件，为已获取的室外场景三维彩色点云数据中每一个彩色点p_i标注一个类别标签l_i，构建室外场景三维彩色点云数据训练集L＝{p_i,l_i|1≤i≤n}、点云数据训练集L_s＝{(x_i,y_i,z_i),l_i|1≤i≤n}、图像数据训练集L_c＝{(r_i,g_i,b_i),l_i|1≤i≤n}；

步骤3、在点云和图像模态中分别构建条件随机场分类器，针对三维彩色点云个体点分类，综合考虑其个体特性、邻域特性和局部特性，利用独立点、连接边和分割片段，设计条件随机场的点模型、边模型和高阶团模型，在点云和图像模态中分别构建条件随机场分类器，具体包括以下子步骤：

(a)、在点云模态中，构建点云条件随机场分类器其中：表示每一个点的能量势函数之和，N为点的个数，K为类的个数，为第个点的点云特征向量，为当某点属于第k类的权重，为第个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第条边的点云特征向量，为当某边属于第k类的权重，为第条边属于第k类的值；表示每一个团即点云中的某一部分的能量势函数之和，为团的集合，为第个团的点云特征向量，为当某团属于第k类的权重，为第个团属于第k类的值，为归一化因子系数；为条件概率，为类别值和的集合，为点云特征向量和的集合；通过对该分类器的训练和推断，即可在点云模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；

(b)、在图像模态中，构建图像条件随机场分类器其中：表示每一个点的能量势函数之和，N为点的个数，K为类的个数，为第个点的图像特征向量，为当某点属于第k类的权重，为第个点属于第k类的值；表示每一条边的能量势函数之和，为边的集合，为第条边的图像特征向量，为当某边属于第k类的权重，为第条边属于第k类的值；表示每一个团即图像中的某一部分的能量势函数之和，为团的集合，为第个团的图像特征向量，为当某团属于第k类的权重，为第个团属于第k类的值，为归一化因子系数；为条件概率，为类别值和的集合，为图像特征向量和的集合；通过对该分类器的训练和推断，即可在图像模态中将室外场景三维彩色点云数据分类为建筑、树木、电线、地面类型；

步骤4、在点云模态中进行学习训练和分类推断，在点云模态中，计算点云特征向量，利用点云数据训练集L_s去训练点云条件随机场分类器f_s，并利用训练后获得的点云条件随机场分类器f_s，对新获取的室外场景三维彩色点云数据进行分类推断，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集L_c，用于扩充图像数据训练集L_c，具体包括以下子步骤：

(a)、针对室外场景三维彩色点云数据，利用KD-tree算法在空间上构建给定点p＝(x,y,z,r,g,b)的邻域N_p＝{p_j＝(x_j,y_j,z_j,r_j,g_j,b_j)|1≤j≤m}，其中：p_j为邻点，j为邻点的序号，m为邻点的个数；

(b)、通过公式(1)

构建给定点p的邻域N_p的协方差矩阵M，T为向量转置符号，其将列向量转置为行向量，并求取协方差矩阵M的特征值λ₁、λ₂、λ₃，且λ₁<λ₂<λ₃，以及相应的特征向量v₁、v₂、v₃，最小特征值λ₁对应的特征向量v₁为给定点p的法向量n＝(x_n,y_n,z_n)，中间特征值λ₂对应的特征向量v₂为给定点p的基向量b＝(x_b,y_b,z_b)，最大特征值λ₃对应的特征向量v₃为给定点p的切向量t＝(x_t,y_t,z_t)；

(c)、构造第个点的点云特征向量其中，为高度特征，为点性特征,为线性特征,为面性特征，为切向量特征，为法向量特征；

(d)、利用步骤4中子步骤(c)分别计算第条边的两个端点的点云特征向量和将第条边的两个端点的点云特征向量相减，即可得第条边的点云特征向量其中，为第条边的一个端点的序号，为第条边的另一个端点的序号；

(e)、在点云模态中，利用K-means聚类算法，将室外场景点云数据分割为一些空间位置独立的点云片段，每一个点云片段都构成了点云条件随机场模型中的一个团，构造第个团的点云特征向量为其中，为该团的平均高度，为该团内点的个数，为该团的中心点按照步骤4中子步骤(c)所计算出的点云特征向量；

(f)、按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算点云数据训练集L_s的点云特征向量，并利用Max-margin方法对点云条件随机场分类器f_s进行学习训练，并获得该分类器的所有参数和

(g)、在获得点云条件随机场分类器f_s后，按照步骤4中子步骤(b)到子步骤(e)的处理方法，计算新获取的室外场景三维彩色点云数据的点云特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在点云模态中的分类结果，同时，将条件概率大于0.9的分类结果及其图像数据加入图像数据训练集L_c，用于扩充图像数据训练集L_c；

步骤5、在图像模态中进行学习训练和分类推断，在图像模态中，计算图像特征向量，利用图像数据训练集L_c去训练图像条件随机场分类器f_c，并利用训练后获得的图像条件随机场分类器f_c，对新获取的室外场景三维彩色点云数据进行推断分类，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集L_s，用于扩充点云数据训练集L_s，具体包括以下子步骤：

(a)、构造第个点的图像特征向量图像特征向量为30维向量，包括2维位置特征即UV特征、3维颜色特征即HSV特征、9维方向梯度直方图特征即HOG特征和16维纹理特征即TEXTONS特征，上述特征均利用标准图像处理方法计算得到；

(b)、利用步骤5中子步骤(a)分别计算第条边的两个端点的图像特征向量和将第条边的两个端点的图像特征向量相减，即可得第条边的图像特征向量

(c)、在图像模态中，利用K-means聚类算法，将室外场景图像数据分割为一些空间位置独立的图像片段，每一个图像片段都构成了图像条件随机场模型中的一个团，构造第个团的图像特征向量为为该团的中心点按照步骤5中子步骤(a)所计算出的图像特征向量；

(d)、按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算图像数据训练集L_c的图像特征向量，并利用Max-margin方法对图像条件随机场分类器f_c进行学习训练，并获得该分类器的所有参数和

(e)、在获得图像条件随机场分类器f_c后，按照步骤5中子步骤(a)到子步骤(c)的处理方法，计算新获取的室外场景三维彩色点云数据的图像特征向量，然后利用Graph-cut算法对新获取的室外场景三维彩色点云数据进行分类推断，即可得到在图像模态中的分类结果，同时，将条件概率大于0.9的分类结果及其点云数据加入点云数据训练集L_s，用于扩充点云数据训练集L_s；

步骤6、给出最终分类结果，综合评价点云和图像模态下的分类结果，选择条件概率大的分类结果作为新获取的室外场景三维彩色点云数据的最终分类结果；

步骤7、不断更新协同学习，对于新获取的每一帧室外场景三维彩色点云数据，重复步骤4至步骤6，在给出分类结果的同时，不断交叉扩充点云数据训练集L_s和图像数据训练集L_c，不断更新点云条件随机场分类器f_s和图像条件随机场分类器f_c。