[发明专利]基于投票机制的安全漏洞报告数据集构建方法

说明书

本发明涉及一种基于迭代投票分类的自动数据标注方法，该方法首先准备初始标记样本，利用国际权威漏洞报告库CVE数据辅助正样本标记，并从已有报告库中选择少量高质量非安全漏洞相关报告作为负样本。其次，使用初始标记样本对三个不同分类器进行训练，并使用所训练的三个分类模型分别对目标数据集进行预测，对于三个分类器预测结果一致为负样本的数据，将其加入初始标记样本中，并进入下一迭代。最后，通过对模型自动样本标记结果准确性进行验证。实验证明，该方法可有效提高安全漏洞数据集标记准确性，其F1‑score可达0.91。

技术领域

本发明属于软件测试中软件安全保证领域，涉及安全漏洞预测方法、数据标记方法、数据集构建方法等。

背景技术

基于机器学习的安全漏洞报告识别受到学术界和工业界越来越多关注，而高质量标记数据集是机器学习模型应用的前提。最近，文献Peter(Peters,F.,Tun,T.,Yu,Y.,Nuseibeh,B.:Text filtering and ranking for security bug reportprediction.IEEE Transactions on Software Engineering 45(6),615–631(2019))针对漏洞报告检测数据集存在误标的问题，提出了一种名为FARSEC的噪声数据过滤方法。该方法包括两个主要步骤：

步骤一：提取安全相关词汇。使用TF-IDF方法从安全漏洞报告中提取安全相关关键词汇。

步骤二：过滤噪音数据。计算非安全漏洞报告与步骤一所得的安全相关词汇之间的相似度，过滤掉相似度较高的数据。

然而，该方法对于噪音数据的识别误报率较高，导致许多非噪音数据被过滤掉，造成极大的信息损失，使得采用过滤之后数据集训练的模型对安全漏洞报告检测准确率非常低，平均值小于50％。

发明内容

要解决的技术问题

为了提高现有技术中安全漏洞报告检测的准确率，本发明提出一种基于投票机制的安全漏洞报告数据集构建方法。

技术方案

一种基于投票机制的安全漏洞报告数据集构建方法，其特征在于步骤如下：

步骤1：初始训练样本标记，该阶段包括两个输入和两个输出：

输入：CVE数据和未标记样本B_all；

输出：已标记初始训练样本集B_l和剩余未标记样本集B_u；

步骤1.1：基于CVE进行正样本标记：将软件产品的缺陷报告中与CVE相关联的记录，将其标记为“正”样本，最终得到软件产品的所有已标记正样本集合B_pos；将标记为正样本的记录从软件产品缺陷报告集合B_all中移除，得到剩余未标记样本集B_left；

步骤1.2：基于莱文斯坦距离获取初始标记“负”样本：通过计算剩余未标记缺陷报告B_left中的每条记录与已标记正样本B_pos之间的莱文斯坦距离，提取莱文斯坦距离最大的前50条记录作为初始标记“负”样本，形成初始标记负样本集合B_neg；将标记为负样本的记录从软件产品缺陷报告集合B_left中移除，剩余的未标记样本集则作为目标样本集B_u；

步骤1.3：将初始标记正样本集合B_pos和初始标记负样本集合B_neg进行合并，形成初始训练样本集B_l；

步骤1.4：输出初始训练样本集B_l和未标记目标样本集B_u；