[发明专利]一种基于深度强化学习的Web服务组合方法

说明书

本发明公开了一种基于深度强化学习的Web服务组合方法，针对传统服务组合方法在面对大规模服务场景下耗时长、灵活性差、组合结果不理想等问题，将深度强化学习技术和启发式思想应用于服务组合问题。此外考虑到真实环境的部分可观察性的特点，本发明将服务组合过程转化为一个部分可观察马尔可夫决策过程(Partially‑Observable Markov Decision Process，POMDP)，利用循环神经网络解决POMDP的求解问题，使方法在面对“维度灾难”挑战时仍能表现出高效性。本发明方法能够有效的提高求解的速度，保证服务组合方案的质量的基础上，自主地适应动态性服务组合环境，在大规模动态性服务组合场景下有效的提高了服务组合的效率自适应性和灵活性。

技术领域

本发明属于计算机领域，特别涉及一种基于深度强化学习的Web服务组合方法。

背景技术

随着网络信息技术的不断发展，用户对软件系统的功能需求也越来越多样化、复杂化和多变化。这种趋势催生了软件产品的一种新的设计或架构的理念：面向服务架构(Service-Oriented Architecture,SOA)，它要求应用程序必须是被开发的可提供良好接口的交互服务的独立集合。而Web服务作为一种建立可互操作的分布式应用程序的新平台，是基于网络的、分布式的、自描述的、模块化的组件，它执行特定的任务，遵循一定的技术规范，可以在网上发布、定位和调用，从而成为实现SOA体系架构的最有前景的技术手段。

现今软件系统的构建规模不断扩大，业务流程也越来越复杂，单个Web服务有限的功能已经不能满足用户的需要，如何将已有的服务复用组合构建满足用户复杂需求、保证服务质量，成为Web服务应用集成的核心问题。从最初的完成功能目标，到后来关注QoS(Quality of Service,服务质量)保证服务质量，大批学者们已近在Web服务组合领域做了大量的研究工作。但是，由于Internet网络环境的动态性和组合规模的不断扩大，使Web服务组合领域依然面临着一些挑战。因此，对Web服务组合方法的研究和创新有着重要而现实的意义。

近年来，有一些研究人员采用强化学习技术来解决自适应性服务组合问题，但是值得注意的是这些方法忽略了许多问题。(1)现有的服务组合方法，将服务组合建模为一个马尔可夫决策过程(Markov Decision Process,MDP)。然而在实际环境中agent是无法完全感知环境信息的，这种部分感知的问题属于非马尔可夫型环境，如果不针对强化学习算法进行处理的话，这种学习将无法收敛。(2)强化学习的理论关注的是小规模、离散的问题，但在真实的服务组合的问题中，所面对的服务组合问题的规模是不容小觑的并且状态之间也是连续的。(3)强化学习利用从环境中获得回馈被广泛的应用于实际问题的解决。在经典的强化学习算法中，值函数采用策略查找表(look-up table)保存。在面对大规模服务组合为问题时，这种策略显然有一定的局限性。

循环神经网络(Recurrent neural networks-RNN)是一种常见的深度学习网络结构，它由一个或者多个反馈回路组成，赋予神经网络对时间进行显示建模的能力。循环神经网络(RNN)适用于序列化的数据并且对这些数据的可以较为精确的模拟，它记录每个时刻的激活值，通过添加跨域时间点的自连接隐藏层增强了网络的时间相关性，但是相反的这也导致了整个网络很难训练并且出现梯度消失的现象。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种解决了现实环境的部分可观察性，更加准确的进行服务选择组合提供给用户高质量的基于深度强化学习的Web服务组合方法。

技术方案：为解决上述技术问题，本发明提供一种基于深度强化学习的Web服务组合方法，包括如下步骤：

1)获取用户需求，构建当前任务下的部分可观察马尔可夫决策过程服务组合模型；

2)初始化系统参数以及网络结构，并将模型的开始状态作为系统当前状态；