[发明专利]数据处理方法及装置、处理器、电子设备、存储介质

说明书

本申请公开了一种数据处理方法及装置、处理器、电子设备、存储介质。该方法包括：获取待处理数据集和聚类神经网络，其中，所述聚类神经网络以簇对的纯度为监督信息训练获得，所述簇对的纯度依据第一类别的纯度和第二类别的纯度得到，所述第一类别用于表示所述簇对中的第一簇中包含数据数量最多的类别，所述第二类别是指所述簇对中包含数据数量最多的类别；使用所述聚类神经网络对所述待处理数据集进行处理，得到所述待处理数据集的聚类结果。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法及装置、处理器、电子设备、存储介质。

背景技术

聚类处理是数据挖掘和机器学习等领域的关键技术之一。聚类处理通过将数据集中的相似数据划分至同一类簇，将不相似的数据划分至不同的类簇。目前的聚类处理技术主要包括划分聚类、合并聚类、基于密度聚类、网格聚类、谱聚类等几种。合并聚类因其概念简单、易于解释、聚类结果层次化和结构化明显等特点被广泛应用于各种领域。但传统合并聚类方法的合并准确度低。

发明内容

本申请提供一种数据处理方法及装置、处理器、电子设备、存储介质。

第一方面，提供了一种数据处理方法，所述方法包括：

获取待处理数据集和聚类神经网络，其中，所述聚类神经网络以簇对的纯度为监督信息训练获得，所述簇对的纯度依据第一类别的纯度和第二类别的纯度得到，所述第一类别用于表示所述簇对中的第一簇中包含数据数量最多的类别，所述第二类别是指所述簇对中包含数据数量最多的类别；

使用所述聚类神经网络对所述待处理数据集进行处理，得到所述待处理数据集的聚类结果。

在该方面中，依据合并纯度和簇对中至少一个簇的纯度得到簇对的纯度，可在确定簇对的纯度过程中，不仅考虑簇对中包含数据的数量最多的类别的纯度，而且考虑簇对中至少一个簇的纯度，进而可降低误合并发生的概率，从而提高合并准确度。

结合本申请任一实施方式，所述以簇对的纯度为监督信息训练获得所述聚类神经网络，包括：

获取待训练神经网络、第一待训练簇对和第二待训练簇对；

经所述待训练神经网络对所述第一待训练簇对和所述第二待训练簇对进行处理，得到先合并所述第一待训练簇对的第一概率；

依据所述第一待训练簇对的第一纯度和所述第二待训练簇对的第二纯度，得到先合并所述第一待训练簇对的第二概率；

依据所述第一概率和所述第二概率的差异，得到所述待训练神经网络的损失；

基于所述损失调整所述待训练神经网络的参数，得到所述聚类神经网络。

结合本申请任一实施方式，所述第一待训练簇对还包括第二簇，所述第二待训练簇对包括第三簇，在所述依据所述第一待训练簇对的第一纯度和所述第二待训练簇对的第二纯度，得到先合并所述第一待训练簇对的第二概率之前，所述方法还包括：

依据所述第一待训练簇对中的数据的标注数据，确定所述第一待训练簇对中至少一个类别包含的数据的数量，作为第一数量集；

依据所述第二待训练簇对中的数据的标注数据，确定所述第二待训练簇对中至少一个类别包含的数据的数量，作为第二数量集，其中，所述标注数据携带数据的类别信息；

依据所述第一数量集中的最大值与所述第一待训练簇对中包含的数据的数量，得到第三纯度，依据所述第二数量集中的最大值与所述第二待训练簇对中包含的数据的数量，得到第四纯度，其中，所述第三纯度用于表征所述第一待训练簇对中包含数据的数量最多的类别的纯度，所述第四纯度用于表征所述第二待训练簇对中包含数据的数量最多的类别的纯度；

确定所述第二簇中包含数据的数量最多的类别的纯度得到第五纯度，确定所述第三簇中包含数据的数量最多的类别的纯度得到第六纯度；