[发明专利]一种基于接口模型的操作系统标准符合性测试的充分性评估方法

说明书

技术领域：

本发明涉及计算机软件领域，特别涉及基于模型的测试充分性评估。

背景技术：

操作系统的开发必须在遵循国际和工业标准的基础上进行，遵循标准是操作系统互通、互联、互操作的基础。标准符合性是操作系统保证其开放性、兼容性、以及对上层丰富应用的有效支持的基础和关键，标准符合性测试就是测试所开发的软件其接口或功能模块是否符合特定的软件标准或者规范，这个符合性不仅是指在形式上是一致的，还指其在功能、数据控制、异常处理等方面也要符合标准规范。例如，ARINC 653作为机载操作系统标准，对应用程序编程接口进行了详细定义，并定义了标准符合性测试的规范，明确说明了测试过程及测试用例的设计要求。

软件测试是根据软件开发阶段的各种说明文档，设计测试用例，使用手工或自动的方式，按照测试方案和流程，使用这些测试用例运行软件系统，用以检验软件系统是否满足预期需求的过程。由于标准接口数量大、接口之间依赖关系复杂、接口使用场景多样，标准符合性测试面临组合爆炸的问题，无法做到穷尽测试。标准符合性测试设计的关键之一就是寻找有效的测试集，力求尽可能地覆盖接口需求，并有效发现缺陷，增强测试的可信度。

测试充分性评估是对软件测试集的一种度量，通常针对特定的软件特征，采用测试覆盖率定量度量软件测试的充分程度，可以用如下公式来表示：

根据软件测试的分类，测试充分性评估可以分为基于代码的测试充分性评估和基于功能的测试充分性评估两大类。基于代码的充分性评估适用于白盒测试中，通过在测试过程中观测程序的语句、分支、路径等的执行情况，来评估测试覆盖的充分程度。基于功能的充分性评估，常用于黑盒测试中，以评估软件系统对于功能需求的覆盖程度。

标准符合性测试本质上为一种黑盒测试，以明确的应用程序接口描述作为软件功能特性，其基本要求功能点覆盖就体现为对于各种接口参数数据取值类型、参数数据组合、接口操作、操作组合各个层次上。本发明给出一种基于接口模型的标准符合性测试充分性度量方法，主要由两部分组成：（1）操作系统标准接口的结构化建模与描述；（2）测试执行对于接口模型的覆盖程度的一种层次化的度量模型，进而给出综合化评估方法。

标准符合性测试是操作系统测试的基本要求。测试充分性分析对测试用例集设计以及优化具有重要指导意义。

发明内容

本发明采用基于模型的软件度量技术，给出一种接口功能的结构化建模及层次化度量方法。方法针对目前广泛应用的操作系统软件的接口标准符合性测试问题，要求目标操作系统及其测试用例集满足以下条件：（1）目标操作系统具有明确的接口功能定义，是行业内普遍认同的标准，是操作系统设计、开发与测试的主要依据；（2）测试用例集中主要是针对操作系统标准接口的功能测试，且每个测试用例可追踪至被测软件的功能特性，包括被测接口的参数数据、被测接口的功能以及功能组合。

基于接口模型的操作系统标准符合性测试的充分性评估法，其特征在于是在一台计算机中，针对一个已经通过标准符合性测试的操作系统软件S依次按照以下步骤进行充分性评估的：

步骤（1） 计算机初始化

输入：根据所述操作系统软件S建立接口模型，其中包括：数据模型和功能模型：

数据模型：包括数据池的每个数据分区内所包含的所有测试数据，

功能模型：各个接口的包括输入参数和输出参数在内的接口参数以及对应的接口功能，

还包括：已经在所述操作系统软件S中通过标准符合性测试的测试用例集合T。

步骤（2） 依次按以下步骤进行标准符合性测试的充分性评估。

步骤（2.1） 按以下公式计算接口输入参数的覆盖率：

，

其中，

●k为接口I的序号；

●为接口I_k的一组输入参数集合。

步骤（2.2）按下式计算接口I_k的输入参数-输出参数两者组合的覆盖率：

，

其中，

●是接口I_k的所有输入参数-输出参数组合参数对集合；

●为接口I_k的一组输入参数；

●为接口I_k的一组输出参数。

步骤（2.3） 按下式计算特定接口的接口功能覆盖率：