[发明专利]特征聚类处理方法、集群服务器及可读存储介质

说明书

本发明公开了一种特征聚类处理方法、集群服务器及可读存储介质，方法包括：按照预设矩阵规则将待聚类处理的特征集拆分为多个数据块，并基于多个数据块，确定特征集的协方差矩阵；根据特征集的协方差矩阵判断特征集是否满足预设拆分条件；若满足，则对特征集进行拆分处理以获得子聚类；根据拆分得到的子聚类所包含的特征和特征集的协方差矩阵，确定子聚类的协方差矩阵；若根据子聚类的协方差矩阵确定子聚类满足预设拆分条件，则对子聚类进行拆分处理。这样，无需针对每个聚类再重新计算一次协方差矩阵，避免了大量数据计算和各个节点与控制节点之间的通信开销，大幅度地提升了计算效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种特征聚类处理方法、集群服务器及可读存储介质。

背景技术

随着机器学习技术和互联网技术的快速发展，越来越多的领域开始应用到机器学习技术，通过特征工程技术对输入特征进行处理能有效地提升训练模型可解释性和鲁棒性。分析特征之间的相似性，将相似度较高的特征聚类在一起，选取每个聚类中的代表特征作为聚类输出特征，能够在降低特征之间相关性同时还能减少输入训练模型特征数量，有效地提升了训练模型的鲁棒性和可解释性。

目前，建模输入特征的数量会有成千上万，由于特征数据量大，对于特征聚类的算法提出越来越高的要求。例如，当面对大量的特征数据时，会导致计算复杂，从而会造成计算效率低。

发明内容

本发明的主要目的在于提供一种特征聚类处理方法、集群服务器及可读存储介质，旨在解决现有技术中的面对大量特征数据时，会导致计算复杂，从而会造成计算效率低的技术问题。

为实现上述目的，本发明提供一种特征聚类处理方法，所述方法包括：

按照预设矩阵规则将待聚类处理的特征集拆分为多个数据块，并基于所述多个数据块，确定所述特征集的协方差矩阵；

根据所述特征集的协方差矩阵判断所述特征集是否满足预设拆分条件；

若满足，则对所述特征集进行拆分处理以获得子聚类；

根据拆分得到的所述子聚类所包含的特征和所述特征集的协方差矩阵，确定所述子聚类的协方差矩阵；

若根据所述子聚类的协方差矩阵确定所述子聚类满足预设拆分条件，则对所述子聚类进行拆分处理。

进一步地，所述按照预设矩阵规则将待聚类处理的特征集拆分为多个数据块，并基于所述多个数据块，确定所述特征集的协方差矩阵的步骤，包括：

获取所述特征集，并将所述特征集按矩阵的形式进行存储；

将所述特征集按预设矩阵规则拆分为所述多个数据块，并将所述多个数据块分别一一分配至多个计算节点；

根据分别位于所述多个计算节点的所述多个数据块计算所述特征集的协方差矩阵。

进一步地，所述根据拆分得到的所述子聚类所包含的特征和所述特征集的协方差矩阵，确定所述子聚类的协方差矩阵的步骤，包括：

根据所述子聚类所包含的特征在所述特征集的矩阵形式中的行列位置，提取出与所述行列位置相对应的所述特征集的协方差矩阵的行向量或列向量，确定所述子聚类的协方差矩阵。

进一步地，所述根据所述特征集的协方差矩阵判断所述特征集是否满足预设拆分条件的步骤，包括：

根据所述特征集的协方差矩阵，选取数值最大的第一特征值和第二特征值，其中所述第一特征值大于或等于所述第二特征值；

判断所述第二特征值是否大于或等于预设特征值；

若所述第二特征值大于或等于所述预设特征值时，则所述特征集满足所述预设拆分条件；