[发明专利]计算任务的资源监测方法、装置、设备及可读存储介质

说明书

本发明实施例提供一种计算任务的资源监测方法、装置、设备及计算机可读存储介质。所述计算任务的资源监测方法包括：利用网页爬虫技术获取计算任务中常驻服务的运行任务执行单元所在的页面的数据；根据所述页面的数据解析出所述运行任务执行单元的数量；根据运行任务执行单元的数量与资源使用数量的线性关系，计算并保存所述常驻服务的资源使用数量；统计预设时间段内的资源使用数量；通过视图展示统计的资源使用数量。本发明实施例可视化的展示了计算任务中常驻服务的资源使用状态，可以实现计算任务中常驻服务的资源监测，同时可以合理的分配常驻服务使用的资源。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种计算任务的资源监测方法、装置、设备及计算机可读存储介质。

背景技术

分布式计算系统(Spark)是专为大规模数据处理而设计的快速通用的计算引擎。在大数据处理中，Spark执行一个计算任务时，会对该计算任务涉及的常驻服务(持续运行的服务)，如sparkthriftserver(提供数据库连接的服务)，spark streaming(处理数据量的服务)等，对应分配所使用的资源，如所需要使用的CPU核的数量。然而针对计算任务中常驻服务的资源使用状态难以统计，导致计算任务中常驻服务存在以下问题：1、计算任务中常驻服务的资源使用率难以获取，资源使用率存在“黑盒”现象；2、由于计算任务中常驻服务的资源分配难以预估，所以在开始分配常驻服务使用的资源时，尽量多的分配以保证应用可以正常的运行，然而这样会导致资源分配过多，存在资源浪费的现象。

发明内容

本发明实施例提供了一种计算任务的资源监测方法、装置、设备及计算机可读存储介质，可视化的展示了计算任务中常驻服务的资源使用状态，可以实现计算任务中常驻服务的资源监测，同时可以合理的分配常驻服务使用的资源。

第一方面，本发明实施例提供了一种计算任务的资源监测方法，该方法包括：

利用网页爬虫技术获取计算任务中常驻服务的运行任务执行单元所在的页面的数据；

根据所述页面的数据解析出所述运行任务执行单元的数量；

根据运行任务执行单元的数量与资源使用数量的线性关系，计算并保存所述常驻服务的资源使用数量；

统计预设时间段内的资源使用数量；

通过视图展示统计的资源使用数量。

第二方面，本发明实施例提供了一种计算任务的资源监测装置，该装置包括用于执行上述第一方面所述的计算任务的资源监测的单元。

第三方面，本发明实施例还提供了一种设备，所述设备包括存储器，以及与所述存储器相连的处理器；

所述存储器用于存储实现计算任务的资源监测的程序数据，所述处理器用于运行所述存储器中存储的程序数据，以执行上述第一方面所述的计算任务的资源监测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序数据，所述一个或者一个以上程序数据可被一个或者一个以上的处理器执行，以实现上述第一方面所述的计算任务的资源监测方法。

本发明实施例，通过利用网页爬虫技术获取计算任务中常驻服务的运行任务执行单元所在的页面的数据；根据所述页面的数据解析出所述运行任务执行单元的数量；根据运行任务执行单元的数量与资源使用数量的线性关系，计算并保存所述常驻服务的资源使用数量；统计预设时间段内的资源使用数量；通过视图展示统计的资源使用数量。本发明实施例可视化的展示了计算任务中常驻服务的资源使用状态，可以实现计算任务中常驻服务的资源监测，同时可以合理的分配常驻服务使用的资源。

附图说明