[发明专利]一种基于差异测试的FPGA综合工具缺陷检测方法

说明书

本发明涉及一种基于差异测试的FPGA综合工具缺陷检测方法，属于计算机软件测试技术领域。本发明通过使用可供比较的参考FPGA综合工具，给定一个测试代码，将测试代码生成与其等价的变异代码，这些参考的FPGA综合工具和待测工具将对其执行编译得到各自的执行结果。由于参考综合工具和待测的FPGA综合工具在差异测试中遵循相同规约，其执行结果相同。因此，通过比较待测工具与参考工具的执行结果的一致，能够有效判断待测工具是否存在缺陷。本发明方法对比现有技术，通过变异产生有效的FPGA综合工具测试的测试种子用例，能够有效检测综合工具中存在的缺陷，并将其缺陷报告进行保存，可供开发人员快速的修复Bug。

技术领域

本发明涉及一种FPGA综合工具的缺陷检测方法，具体涉及一种基于差异测试的FPGA综合工具缺陷检测方法，属于计算机软件测试技术领域。

背景技术

近年来，软件的正常运行越来越依赖于硬件。几乎所有的数字计算都以这样或那样的方式依赖于逻辑综合工具，越来越多的领域使用FPGA(Field Programmable GateArray)来加速服务器上的应用程序。此外，硬件的日益复杂也导致对自动化有很大的需求，这意味着综合工具的正确性对硬件的可靠性至关重要。因此，对FPGA综合工具进行严格测试，十分必要。

为了测试FPGA综合工具的正确性，有人提出通过构造生成随机、有效、确定的或者不确定的Verilog设计并传递给综合工具，综合工具会产生一个可以与原始设计进行比较的等效的nestlist网表，然后基于Verilog设计的输出与合成的网表在时钟边缘应该总是相等的原则，对综合工具是否存在缺陷进行判断。

尽管现有的方法能够很好地为FPGA综合工具缺陷进行检测，但是，随机构造行为良好的Verilog不太可能穷尽测试许多不同的Verilog构造组合。同时，如果使用不确定的Verilog设计，需要考虑测试的代价，因为生成不确定的Verilog需要执行额外的模拟步骤来避免误报。这些将导致FPGA综合工具bug检测效率欠佳。

发明内容

本发明的目的是针对现有的FPGA综合工具缺陷检测方法效果不佳的技术问题，提出一种基于差异测试的FPGA综合工具缺陷检测方法。

本发明方法的创新点在于：通过使用两个或者更多的可供比较的参考FPGA综合工具，给定一个测试代码，将测试代码生成与其等价的变异代码，这些参考的FPGA综合工具和待测工具将对其执行编译得到各自的执行结果。由于参考综合工具和待测的FPGA综合工具在差异测试中遵循相同规约，其执行结果相同。因此，通过比较待测工具与参考工具的执行结果的一致，能够有效判断待测工具是否存在缺陷。

本发明采用以下技术方案实现。

一种基于差异测试的FPGA综合工具缺陷检测方法，包括以下步骤：

步骤1：构建FPGA综合工具测试用例种子库。

具体地，可以从测试人员输入的综合设计实例中，获取所需测试用例。例如，可以从现有的高级综合工具官网、开源社区的有效链接中，爬取、解析获得高级语言文件。

步骤2：基于遗传算法，对测试种子用例按照测试效果的优先从高到低进行排序，并依次执行。可降低测试的时间，提高测试效率。

具体地，对测试用例优先排序问题的一般性描述为：测试用例集T，测试用例的全排列集PT，排序目标函数f(x)：PT→R。寻找T'∈PT，使得对任意T″∈PT(T″≠T')，有f(T')≥f(T″)。其中，T'、T″表示在测试用例的全排列集中任意选取的测试用例序列，T″≠T'。

在FPGA和软件系统的在测试中，在检测HDL时，不仅要根据信号流图对逻辑进行检测，还要依据时序图，对时变信号的一致性进行检测。针对以上的测试需求设计测试点，在测试用例集中，每一个测试用例可能对应一个或者多个测试点。