[发明专利]基于最近探索的启发式服务组合方法

说明书

本发明公开了一种基于最近探索的启发式服务组合方法，包括如下步骤：1、将服务组合问题建模为一个六元组马尔可夫决策过程；2、应用基于Q‑learning的启发式学习方法求解六元组马尔可夫决策过程，得到最优策略；3、将最优策略映射为web服务组合的工作流。该方法充分利用学习过程中的学习经验来提高学习速度，学习效率更高。

技术领域

本发明涉及一种利用计算机对Web服务组合的方法，属于人工智能领域。

背景技术

Web服务作为面向服务的架构(Service-Oriented Architecture，SOA)的一种实现方式，它继承了SOA的特征如自包含，自描述等特性，通过互联网可以被应用调用。如图1所示，一个Web服务的实现过程：服务提供者把服务描述信息发送到服务注册中心进行注册，使潜在用户可以发现这些服务；服务请求者查找Web服务，通过UDDI把服务描述和绑定信息写入注册表；根据业务需求，服务请求者，通过网络到UDDI查找Web服务，根据查找的绑定信息定位服务提供者；服务请求者，通过绑定信息取得服务的WSDL描述，绑定、调用服务。然而，单个的服务是无法满足用户的需求，这时就需要将多个服务集成组合起来共同完成用户需求，服务组合技术由此而生。服务组合作为一种新的软件复用技术，通过将互联网上的可调用的服务进行组合，充分利用了已有的软件资源，提高软件的开发效率，同时降低了软件开发成本。

近年来，关于Web服务组合方法的研究引起了学术界和工业界的广泛关注。研究人员和工业机构从各自的角度出发，提出了大量的Web服务组合技术。其中基于强化学习的服务组合技术是重要的组成部分，顺序性的强化学习问题可以被建模成一个马尔可夫决策过程(Markov Decision Process，MDP)，继而通过求解该MDP模型来求得最优策略。下面给出基于马尔可夫决策过程的服务组合模型的形式化定义：

一个基于马尔可夫决策过程的服务组合可以被定义为一个六元组，如下式：

MDP-WSC＝<S；s₀；s_r；A(·)；P；R>

其中S代表从初始状态迁移到终止状态的过程中所能经历的所有状态的集合，该状态集合包含初始状态和终止状态；s₀是初始状态，表示任何动作还没有发生时的状态，也即工作流的初始，s₀∈S；s_r是终止状态，也即工作流的终态，当系统到达终态时，表明一个完整的服务执行路径已经形成，可以构建一个完整的组合服务，s_r∈S；A(·)代表系统在状态s∈S下可以采取的动作的集合，由于每一个动作和具体的Web服务存在着映射关系，A(s)也即为系统在状态s下可执行的Web服务的集合；P是状态转移函数，P(s′|s；a)表示在状态s下执行服务a∈A(s)转移到后继状态s′的概率；R是回报函数，当一个服务a∈A(s)被调用后，环境从当前状态s转移到后继状态s′，同时得到一个立即回报值r＝R(s′|s；a)。

针对基于MDP模型的服务组合问题，一种有效的求解方式是利Q-learning来学习最优策略。下面是Q-learning的更新公式：

Q(s，a)←(1-σ)*Q(s，a)+σ*(r+γ*maxQ(s′，a′))

Q学习的目标是学习在动态环境下如何根据外部评价信号，如回报值，来选择较优动作或者最优动作，本质是一个动态决策的学习过程。当Agent对环境的知识一点也不了解时，它必须通过反复试验的方法来学习，算法的效率不高。

发明内容

发明目的：为了加快Agent的学习速度，提高学习效率，减少不必要的探索，本发明提出一种基于最近探索的启发式服务组合方法，该方法充分利用学习过程中的学习经验来提高学习速度，学习效率更高。

技术方案：本发明采用如下技术方案：

一种基于最近探索的启发式服务组合方法，包括如下步骤：