[发明专利]一种Github开源平台数据的获取方法及源代码缺陷修复系统

说明书

本发明公开了一种Github开源平台数据的获取方法及源代码缺陷修复系统，所公开的方法包括：首先对Github平台中的数据集进行预处理,得到符合要求的变更记录及其对应的Bug‑Fix文件对；然后根据变更记录提取Bug‑Fix函数对；对Bug‑Fix函数根据控制流切片以扩充训练数量，之后对网络进行训练获得缺陷分类模型和补丁生成模型。对于待修复的缺陷文件，处理得到该目标文件缺陷所在函数的向量后，先输入到缺陷相似性分类模型，得到和目标代码最相似的分类集合，然后选择该集合训练的补丁生成模型生成对应的修复补丁。解决了目前基于源码进行学习的缺陷修复技术中面临的数据集过小、数据集质量低下导致模型泛化能力差的问题；且能够达到更高的正确补丁生成率。

技术领域

本发明属于源代码审计领域，具体涉及一种Github开源平台数据的获取方法及源代码缺陷修复系统。

背景技术

软件缺陷，是指在计算机软件或程序中存在的某种破坏正常运行能力的问题、错误，或者隐藏的功能缺陷，又称为bug。

Github开源平台是目前流行的开源项目托管平台，Github中包含丰富的源代码数据、项目历史变更信息、缺陷修复信息等，并且具有实时更新的特点，使用Github上的数据可以为缺陷修复任务提供大量的缺陷修复信息。

现有从开源项目托管平台Github中获取数据的常用方法：根据简单的规则获取相关代码仓库的数据收集方法，例如Michele等人直接使用Google BigQuery APIs从Github中提取包含“fix”、“error”等简单关键字的数据，从而实现过滤其他不相关数据的目的。

现有技术仅使用API筛选的数据结果并不准确，由于Github中存在很多不规范的命名以及描述，关键词之间并不一定有联系，因此使用这种简单的模式匹配方法筛选数据无法避免一些低质量的数据，导致缺陷修复模型学习的特征有限，修复效率低下。

发明内容

针对现有技术的缺陷或不足，本发明一方面提供了一种Github开源平台数据的获取方法。为此，所提供的方法包括：

步骤1，获取Github开源平台的数据作为源数据，并筛选出源数据中的Type类型为“fix”的commit记录；

步骤2，删除Type类型为“fix”的commit记录中不符合缺陷修复正则表达式规则的commit记录；

步骤3，采用commit记录分类网络对步骤2获得的commit记录进行分类，获取包含单一修改意图的commit message的commit记录；所述commit记录分类网络是将commit记录分为包含单一修改意图的commit message的commit记录和包含多个修改意图的commitmessage的commit记录；

步骤4，删除步骤3所获得的commit记录中变更方法涉及多个项目文件的commit记录及变更范围大于1M的commit记录，并去重后得到获取的数据。

可选的，步骤1中根据fork数排序获取Github开源平台的数据作为源数据。

可选的，所述commit记录分类网络采用Bi-LSTM网络。

本发明还提供了一种源代码缺陷修复模型的构建方法。为此，本发明提供的构建方法包括：

Step1,采用上述方法获取数据；

Step2,对所获取的数据中的commit记录进行缺陷类型分类；

Step3,获取各种缺陷类型commit记录的变更前的文件对象Bug file和变更后的文件对象Fix file；