[发明专利]基于伪负样本的数据平衡方法及提高数据分类性能的方法

说明书

本发明公开了一种基于伪负样本的数据平衡方法及提高数据分类性能的方法，包括步骤：步骤1：正负样本分离，得到正样本集和负样本集；步骤2：计算得到负样本皮尔逊相关系数集合；步骤3：将伪负样本集和被挑选样本集初始化；步骤4：使用最大相关‑最小冗余方法计算权重，得到权重集合；步骤5：挑选出最大权重，更新伪负样本集和被挑选样本集；步骤6：重复步骤4和步骤5，直到挑选出伪负样本集；步骤7：将挑选出的伪负样本集并入正样本集，同时，从所述负样本集中剔除挑选出的伪负样本集；本发明首次提出并定义了伪负样本的概念，提出的算法可提高数据分类准确性，进而提高分类器性能，特别是在处理不平衡的生物信息数据方面优势明显。

技术领域

本发明涉及信息处理技术领域，特别是涉及基于伪负样本的数据平衡方法及提高数据分类性能的方法。

背景技术

随着数据量的快速增长，例如生物信息，机器学习技术被普遍应用于生物信息领域，因为机器学习可以从大规模的生物数据中发现重要信息从而帮助人们理解复杂的生物过程。然而，类别不平衡问题的普遍存在会使机器学习性能大幅下降，理论上，有限的正样本是无法实现数据挖掘的，因此对许多生物数据的学习都需要解决类别不平衡问题，比如，基因表达数据，蛋白质-DNA结合数据，预测小分子核糖核酸数据等。

已经提出的用来降低不平衡数据的影响的方法可以分为数据层面方法和算法层面方法。

对于数据层面的方法，一般采用再采样技术来平衡数据集的样本空间，以减少学习过程中样本偏态分布的负面影响。再采样方法是非常常用的方法，因为它们独立于分类器。再采样技术可以分为三类，分别是(1)过采样：通过生成新的少数类样本来平衡正负样本比例。常用方法有随机过采样和SMOTE。(2)降采样：通过丢弃多数类样本来平衡正负样本比例。常用方法有随机降采样(3)混合采样，这种方法是上述两种方法的结合。对于算法层面的方法，可以采用代价敏感和集成学习的方法减少不平衡数据带来的影响。

然而，随机降采样往往会丢失一些重要的分类信息，而随机过采样则耗时较长，也容易导致过拟合。因此，有必要提出一种先进的数据采样方法来平衡正负样本比例，从而提高数据分类的准确性。

发明内容

为了解决上述问题，本发明提供基于伪负样本的数据平衡方法及提高数据分类性能的方法，可以从负样本中找出正样本(伪负样本)并加入到正样本中从而平衡正负样本比例，达到对不平衡数据的学习，从而解决了现有方法丢失一些重要的分类信息，耗时较长，容易导致过拟合，造成数据分类准确性低的问题。

为此，本发明采用的技术方案是：

提供一种基于伪负样本的数据平衡方法，该方法包括以下步骤：

步骤1：将待处理的数据集进行正负样本分离，得到正样本集和负样本集；

作为本领域的普通技术人员，悉知，这里的正负样本是根据样本标签进行正负分类形成正负样本集的，但负样本集中很可能存在一些未被检测出的正样本。

步骤2：计算所述负样本集中每个负样本与所述正样本集中全部正样本的皮尔逊相关系数，得到负样本皮尔逊相关系数集合；

步骤3：将伪负样本集初始化为空集，并将被挑选样本集初始化为负样本集；

被挑选样本集即设定的一个集合，用于挑选伪负样本的集合，因此命名为被挑选样本集，这里初始化为负样本集后，负样本集即为被挑选样本集。

步骤4：使用负样本遍历被挑选样本集，使用最大相关-最小冗余方法计算出负样本集中所有负样本的权重，得到权重集合；

步骤5：从所述权重集合中挑选出最大权重，并将所述最大权重加入伪负样本集，同时，从被挑选样本集中剔除所述最大权重；

步骤6：重复步骤4和步骤5，直到挑选出伪负样本集，最终挑选出的伪负样本集中样本数量为所述正样本集中样本数量的10％～100％；