[发明专利]内存数据优化方法、装置、计算机设备及存储介质

说明书

本发明涉及聚类算法领域，公开了一种内存数据优化方法、装置、计算机设备及存储介质，其方法包括：获取待处理的数据集；判断数据集的数据处理量是否大于预设阈值；若数据集的数据处理量大于预设阈值，则获取第一预设内存优化机制和\或第二预设内存优化机制；根据第一预设内存优化机制和\或第二预设内存优化机制对数据集进行处理，获得计算结果。本发明可以减少在大规模数据计算时的出错，确保获得需要的计算结果，同时减少计算时长。

技术领域

本发明涉及聚类算法领域，尤其涉及一种内存数据优化方法、装置、计算机设备及存储介质。

背景技术

轮廓系数(Silhouette Coefficient)是一种聚类结果评价方法，用于评估无监督聚类算法的效果以及确定聚类过程中簇(即分组)的个数。轮廓系数结合聚类的凝聚度(Cohesion)和分离度(Separation)对聚类效果进行评价。

然而，轮廓系数在大规模数据计算时经常出现未知错误，导致无法获得计算结果。现有的解决手段一般是减少数据集的样本数量，计算原数据集的子集的轮廓系数。这种计算方式无法评价聚类结果的整体效果，计算结果也容易出现较大偏差。此外，在计算高维的大规模数据集的轮廓系数时，即使可以获得计算结果，其计算耗时过长，影响了轮廓系数的应用。

发明内容

基于此，有必要针对上述技术问题，提供一种内存数据优化方法、装置、计算机设备及存储介质，以减少在大规模数据计算时的出错，确保获得需要的计算结果，同时减少计算时长。

发明人经多次试验，发现在处理大规模数据时，通过更改数据集内存的占用，可以有效地减少计算出错，更快地获得有效的数据处理结果。

一种内存数据优化方法，包括：

获取待处理的数据集，所述数据集用于聚类分析；

判断所述数据集的数据处理量是否大于预设阈值；

若所述数据集的数据处理量大于预设阈值，则获取第一预设内存优化机制和\或第二预设内存优化机制；

根据所述第一预设内存优化机制修改所述数据集中的所有样本的数据类型，和\或，根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，所述预设数据计算方法包括若干个循环计算步骤；

根据所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对所述数据集进行处理，获得所述计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得所述计算结果。

一种内存数据优化装置，包括：

获取模块，用于获取待处理的数据集，所述数据集用于聚类分析；

判断模块，用于判断所述数据集的数据处理量是否大于预设阈值；

获取机制模块，用于若所述数据集的数据处理量大于预设阈值，则获取第一预设内存优化机制和\或第二预设内存优化机制；

计算优化模块，用于根据所述第一预设内存优化机制修改所述数据集中的所有样本的数据类型，和\或，根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，所述预设数据计算方法包括若干个循环计算步骤；

获取结果模块，用于根据所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对所述数据集进行处理，获得所述计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得所述计算结果。