[发明专利]一种数据集划分方法及装置

权利要求书

1.一种数据集划分方法，其特征在于，包括：

确定待划分数据集的目标聚类数目，对所述待划分数据集进行聚类，并得到聚类结果，所述目标聚类数目为所述聚类结果的数量；

根据预先设定的划分标准，将所述聚类结果划分为有效聚类结果和无效聚类结果，并将所述无效聚类结果中的数据归并到所述有效聚类结果中。

2.根据权利要求1所述的数据集划分方法，其特征在于，所述确定待划分数据集的目标聚类数目，包括：利用Gap statistic算法获取待划分数据集的目标聚类数目。

3.根据权利要求2所述的数据集划分方法，其特征在于，所述利用Gap statistic算法获取待划分数据集的目标聚类数目，具体包括：

利用K-means算法对所述待划分数据集进行k次聚类，并计算不同k值对应的簇内偏差和D_k，其中，k为自然数；

获取多个对照数据集，所述对照数据集中包含的数据总数与所述待划分数据集中包含的数据总数相等；

利用K-means算法对所述多个对照数据集同时进行k次聚类，计算不同k值对应的多个所述对照数据集上的平均簇内偏差和

根据如下公式计算不同k值对应的Gap值：

其中，Gap(k)表示第k次聚类时，所述对照数据集的损失与所述待划分数据集的损失的差值，logD_k表示第k次聚类时，待划分数据集的损失值，表示第k次聚类时，各对照数据集的损失值的期望值；

将所述Gap值中的最大值对应的k值作为待划分数据集的目标聚类数目。

4.根据权利要求3所述的数据集划分方法，其特征在于，若所述Gap值中的最大值对应的k值小于或等于2，则重新设置所述目标聚类数目为k′，其中，k′为大于2的自然数；

利用K-means算法对所述待划分数据集依次进行3至k′次聚类，并计算不同k′值对应的簇内偏差和D_k′；

获取多个对照数据集，所述对照数据集中包含的数据总数与所述待划分数据集中包含的数据总数相等；

利用K-means算法对所述多个对照数据集同时进行3至k′次聚类，计算不同k′值对应的多个所述对照数据集上的平均簇内偏差和

根据如下公式计算不同k′值对应的Gap值：

其中，Gap(k′)表示第k′次聚类时，所述对照数据集的损失与所述待划分数据集的损失的差值，logD_k′表示第k′次聚类时，待划分数据集的损失值，表示第k′次聚类时，各对照数据集的损失值的期望值；

将所述Gap值中的最大值对应的k′值作为待划分数据集的目标聚类数目。

5.根据权利要求2-4任一项所述的数据集划分方法，其特征在于，所述获取多个对照数据集，包括：

利用随机模拟的方法生成多个所述对照数据集。

6.根据权利要求1所述的数据集划分方法，其特征在于，所述对所述待划分数据集进行聚类，包括：

将目标聚类数目作为K-means算法的聚类中心数目，并利用所述K-means算法对所述待划分数据集进行聚类。

7.根据权利要求1所述的数据集划分方法，其特征在于，根据预先设定的划分标准，将所述聚类结果划分为有效聚类结果和无效聚类结果，具体包括：

确定所述聚类结果不满足所述第一划分标准和所述第二划分标准，则所述聚类结果为有效聚类结果；

确定所述聚类结果满足所述第一划分标准或所述第二划分标准，则所述聚类结果为无效聚类结果。