[发明专利]网络设备固件自动化测试及部署系统

权利要求书

1.网络设备固件自动化测试及部署系统，其特征在于，包括以下以下系统：开发过程自动化系统、验收发布自动化系统、部署监控自动化系统；

测试包括以下步骤：

步骤一：对标准接口和标准协议的通用自动化协议；

步骤二：对开发过程中的单元测试、集成测试、系统测试的自动测试结果进行智能的分析；

步骤三：针对客户的需求进行自动验收测试。

2.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述开发过程自动化系统包括固件生成、代码实时同步编译、私有自动化测试、标准协议自动测试、标准接口自动测试、生成测试报告、上传测试报告、分析测试报告、自动升级固件。

3.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述验收发布自动化系统包括自动发布固件、生成发布报告、上传发布报告、自动验收测试、分析验收报告、验收结果确认。

4.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述部署监控自动化系统包括监控设备状态、设备异常诊断、上传设备状态、部署设备管理、自动部署固件、上报部署状态。

5.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述步骤一中，首先，标准接口包括符合SNMP标准的MIB接口、Cisco格式的命令接口，标准协议包括常用的TCP/IP协议族，RFC和IEEE定义的交换机和路由器常用的二层与三层协议，网络设备遵循这些标准接口和标准协议，即可直接对连该系统实现开发过程的自动化测试。

6.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述步骤二中，是对固件的信息的验收并发布，用户可以自定义智能分析依赖成功和失败的标签关键词，或者默认使用系统定义的标签，自动验收测试和分析验收报告是智能分析测试报告模块，智能分析测试报告模块通过对比历史的测试状态，诊断当前系统的健康状态数据是否改善或退步，同时绘制出系统健康状态的变化曲线，并生成分析报告发给系统管理者和开发人员。

7.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述步骤三中，针对客户的需求，验收发布系统基于SSH，Telnet，HTTP，SNMP协议和CLI，提供通用的方法调用验收测试接口，基于验收测试结果反馈，从而对系统的状态进行分析，根据验收测试的分析，智能的决定是否直接自动部署固件到设备的生产环境。

8.根据权利要求1所述的网络设备固件自动化测试及部署系统，其特征在于，所述开发过程自动化系统中，具有对测试报告进行自动分析的功能和算法，该算法基于通用的基础词库、客户定制词库、当前单元和集成测试结果数据以及历史测试结果数据进行智能的自动化分析，从而得到当前开发的设备固件系统，是否处于优良的健康状态，以及软件开发人员是否引入不同严重等级的不良问题，从而实现动态实时跟踪软件的品质，具体健康指数的计算公式如下：其中H是固件测试结果的健康指数，i是功能点编号，其值从1开始，总计k个功能点，F表示单个功能点通过测试的用例百分比，即单个功能点的健康评估值，W是每个功能点的权重，由健康指数得到健康状态，如果HH_ben*e则健康，如果HH_ben*e则不健康，其中H_ben表示基于历史数据推算出的健康基线，e表示可以接受的误差值，健康基数H_ben的计算公式如下：其中j表示健康基数计算的总样本数，H_i表示历史样本的健康基数。

9.根据权利要求8所述的网络设备固件自动化测试及部署系统，其特征在于，所述算法会依据当前设备固件系统的健康状态，计算和对比特定的指标参数，自动决策固件系统是否符合进入下一个自动化系统进行验证，即进入“验收发布自动化系统”进行验收测试，如果符合条件，则开发过程自动化系统自动将软件发布到验收系统进行自动的验收测试，不需要任何人力或人工的耗费。

10.根据权利要求8所述的网络设备固件自动化测试及部署系统，其特征在于，所述算法过程包括以下步骤：

步骤A：进行“标准接口自动测试”和“标准协议自动测试”，将测试结果数据输出到数据仓库；

步骤B：进行“私有自动化测试”，将测试结果数据输出到数据仓库；

步骤C：结合“标准错误词库”对第一步的测试数据进行健康分析，得到当前固件系统的“标准接口”和“标准协议”的“标准测试健康数据分析结果”；

步骤D：结合“自定义词库”对第二步的测试数据进行健康分析，得到当前固件系统的“私有自动化测试”的“私有测试健康数据分析结果”；

步骤E：结合以上当前的标准及私有“测试数据健康分析结果”以及“历史测试数据健康分析结果”进行数据统计以及健康趋势分析；

步骤F：根据以上当前的标准及私有“健康数据分析结果”，进行自动决策，判定固件系统是否可以进入验收阶段；

步骤G：如果健康状态不符合要求，则发出通知，请求人工决策，决定进入验收阶段，或者判定测试未通过；

步骤H：将数据统计以及健康趋势分析结果，绘制出健康数据的“历史统计趋势图表”，以及当前健康状态的“多维分析图表”，发给决策人和研发负责人辅助分析。