[发明专利]网格中基于历史数据建模的作业性能预测方法

说明书

技术领域

本发明涉及高性能网格中作业完成时间建模方法，属于分布式技术与系统领域。

背景技术

现代科学研究中人们求解问题的领域在不断扩大，所遇到的问题也越来越复杂，而且规 模越来越大，解决这些问题所需要的计算能力也在大幅度提高，局部的计算资源已经无法满 足需求。随着计算机和网络技术的迅猛发展，很多组织和科研单位都拥有计算能力很强的超 级计算机，但这些机器往往因为只是孤立的为本单位服务而没有充分发挥作用，在大部分时 间处于空闲状态。因此，打破地域的限制，协同使用在网络上广泛分布的各类资源已成为必 须的要求。

网格技术的提出和发展正是为了满足上述这种要求，其目标是实现网格虚拟环境上异构 资源的共享和协同工作，消除信息孤岛和资源孤岛。与它相关的技术包括：网络技术、XML 技术、Web服务技术(Web Service)、语义网(Semantic Web)、高性能计算等。随着网格技 术的逐渐成熟，结合了面向服务理念的开放式网格服务架构(Open Grid Services Architecture， OGSA)已成为网格界事实上的标准，而Web服务资源框架(WS-Resource Framework，WSRF) 是OGSA的最新实现规范。

一个遵从OGSA架构的网格系统(也称为网格环境)通常包括以下三类实体：

●共享资源。真正提供计算能力、能独立运行的对象，如安装了操作系统的计算机，网 络，存储系统等，是网格系统赖以运行的物质基础。网格中的共享资源由个人/组织 (称为“资源所有者”或“管理员”)按照自身意愿所贡献，对外表现为自治的单位 个体。资源所有者可以对其贡献的共享资源加以诸如“只有在机器负载不超过50％ 时才能被网格系统使用”之类的限定，用于限制网格系统对其共享资源的使用。一般 情况下，加入网格系统的共享资源也称为网格节点。

●网格服务。基于共享资源的本地运行环境(如操作系统)、为达到一定的功能目的来 编程开发的功能实体。网格服务通常按照特定的网格标准/规范(如WSRF)来实现， 部署在网格节点之上，接收用户的调用，利用共享资源的能力进行处理之后向用户返 回结果。将共享资源上配备的软件、程序等实体具有的功能发布为网格服务的过程称 为服务包装。可以将多个网格服务按照一定的流程进行组合，发布为工作流网格服务， 向用户提供更强大的功能。工作流服务和一般的网格服务对于用户而言没有区别，均 为符合了特定网格标准/规范的网格服务。

●用户。调用网格服务的实体，又称为用户节点。用户可以是网格系统中的某个网格节 点/网格服务，也可以是网格系统之外的对象实体。

虽然网格技术的发展使得资源的共享逐渐成为了一种现实，但是如何使得这些资源得到 高效率的利用仍然是一个具有挑战性的问题。各种网格技术标准使得在网格中可以更容易地 集成大量的资源。但是，资源数量的增加也使得资源的选择成为了一个不可回避的问题。当 用户提交一个计算请求时，系统需要决定应该将这个请求调度给系统中的哪一个资源。虽然 已经有不少有关网格中资源调度方面的研究成果。然而，与其它系统中的资源相比较，网格 资源具有异构性、分布式、动态性等特点。在网格中进行资源的合理调度将具有比其他系统 中更大的复杂度。

平衡负载和提高作业执行效率是网格调度系统中普遍遵循的两个重要目标。平衡负载主 要是从资源提供者的角度出发，用户作业负载应该相对公平地在各个资源之间平衡。提高作 业执行效率主要是从网格用户的角度出发，网格系统应该尽可能高质量地完成用户提交的作 业。无论哪一个目标，网格系统在进行调度之前都需要了解资源的软硬件配置、资源动态负 载以及作业性能模型等三方面信息。作业性能模型主要是用来描述在特定的软/硬件配置和动 态负载下，用户作业的完成质量。作业完成质量可能包括时间开销、资源(CPU、内存、带 宽、磁盘)占用量、结果的准确性等。其中，作业时间开销往往是用户最关心的一个指标。 在网格中，前两个方面信息的取得可以依赖专门的“网格信息中心”和“网格监控系统”等 子系统完成。但没有一个简单的途径可以有效地获取第三方面的信息。