[发明专利]一种基于深度强化学习的EFSM输入序列生成方法

权利要求书

1.一种基于深度强化学习的EFSM输入序列生成方法，其特征在于：具体步骤如下：

(1)基于EFSM抽象模型搭建深度强化学习算法所需的深度强化学习环境：从软件的规格说明中提取出EFSM抽象模型，按照深度强化学习算法的组成要素，设计将EFSM抽象模型作为深度强化学习环境要实现的奖赏函数、状态空间和动作空间，对状态空间和动作空间进行初始化，并完成reset()和step()方法的实现，其中，reset()方法用于在每个回合重置深度强化学习环境的状态，step()方法接收来自智能体给出的动作以改变深度强化学习环境得到下一个时刻的深度强化学习环境状态，并调用奖赏函数给出当前动作的奖励反馈，来决定是否结束当前回合；

(2)智能体训练：将EFSM抽象模型中谓词判断条件包含输入参数的所有变迁提取出来，作为目标训练集，通过不断试错和交互，使智能体指导生成合适的输入参数来触发目标训练集中的每一条变迁；训练结束后，得到各个状态机的决策模型，决策模型中包含用于指导深度强化学习环境输入序列生成的高级决策信息；

(3)输入序列生成：使用训练好的智能体为已有的可执行测试路径生成相应的输入序列集。

2.根据权利要求1所述一种基于深度强化学习的EFSM输入序列生成方法，其特征在于：所述步骤(1)中奖赏函数的设计如下：

r_t＝F(IPD_t-1)-F(IPD_t)

其中，IPD_t表示用来触发t时刻对应状态目标变迁的输入参数数据，IPD_t-1全称表示用来触发t-1时刻对应状态目标变迁的输入参数数据，F是适应度函数，用来奖励能够满足谓词判断条件的输入参数数据，输入参数数据越容易触发目标变迁，F的值越小。

3.根据权利要求1所述一种基于深度强化学习的EFSM输入序列生成方法，其特征在于：所述步骤(1)中状态空间的设计如下：

s_t＝(T_t,D_t)

其中T_t表示t时刻学习的目标变迁，D_t表示t时刻的偏差向量(d₀,d₁,d₂,…,d_i,…,d_n-1)，偏差向量长度等于EFSM抽象模型的输入参数向量V_ip的长度，而偏差向量D_t中的元素d_i取值为V_ip中第i个输入参数为满足当前变迁谓词判断条件与上下文变量或者常量之间的偏差值。