[发明专利]一种基于混合云计算平台的对账系统及其对账方法

说明书

本发明提供一种基于混合云计算平台的对账系统及其对账方法，账单数据处理模块，从公有云账单API或下载的账单详细文件处理数据；监控数据处理模块，处理从计算管理系统资源池采集资源池和任务资源请求的数据；任务数据处理模块，处理从计算调度系统的任务数据库中统计任务消耗资源核时；统计告警模块，结合以上三个模块所得出的资源数据表，得到计算任务装箱的利用率和差异范围，实现任务核时的对账告警和预测。本发明通过集成各大公有云厂商的账单API实现全球计算实例单价的管控；针对高性能计算任务计算力成本的校验核算，和计算力利用率的检测判断；可以通过对大量现有任务的计算力需求，对未来计算力的购买具有指导意义。

技术领域

本发明属于数据处理技术领域，具体涉及一种基于混合云计算平台的对账系统及其对账方法。

背景技术

现今企业服务托管在公有云上，并通过云服务提供商购买大量计算资源替代自建本地搭建计算服务器的做法越发普遍。而在直接对接单个云服务提供商时，可以直接通过对应云服务提供商账单系统直接获取每月使用成本，并可以通过手动下载账单详情文件计算出各个服务的使用量和成本，以及计算池的使用量和成本。该技术存在以下问题：

(1)这种对账与单个云服务提供商架构绑定较强，而对跨云以及本地计算需要单独分别手动核算，从而增加不同云服务提供商时的成本评估难度。

(2)不同的云服务提供商账单产品的数据结构和服务名称无统一标准，导致用户在统一核算很难对计算结果聚合，无法对多云服务的历史数据进行分析处理。

(3)由于计算任务调度系统的资源装箱以及弹性伸缩导致的空跑问题，实际计算资源使用上存在一定的损耗，无法获知实际计算任务运行需要申请的计算资源，缺乏对实际任务对应的成本控制。

发明内容

针对上述技术问题，本发明提供一种基于混合云计算平台的对账系统及其对账方法，适用于高性能计算领域，结合监控和告警系统，实现多云服务提供商的计算资源成本核算和实际利用率统计。

所采用的技术方案为：

一种基于混合云计算平台的对账系统，包括：

账单数据处理模块，根据云服务提供商的区别和对账单接口的支持，可以直接通过API接口获取，或者手动下载账单详细文件，或者通过账单文件存储的对象存储来获取详细数据。由于每个云提供商的计算实例类型不同，虚拟核数多种多样，所在账单时区也不一致，需要根据每个云服务提供商的结算周期，统计总花费，每个实例花费，单位核时花费，总核时等统一的数据信息；

任务数据处理模块，计算平台的调度系统会根据实际任务启动，运行，完成等状态变动，在数据库中记录任务的生命周期，CPU消耗，内存消耗等参数的数据。通过对任务数据库的分析处理，可以统计得到每个计算任务的消耗核时，对调度的计算实例的占用时长；

监控数据处理模块，计算平台的监控系统会采集各个计算集群的CPU信息，包括总共CPU数量，任务请求使用的CPU数量，任务实际使用的CPU数量，并在数据库中形成时间序列的CPU数量数据。通过对这个时序数据库的分析处理，可以得到计算集群的消耗核时和任务实际使用核时，对账单数据和任务数据起到对照作用。

统计告警模块，通过对上述三个模块的处理数据进行分析整合，可以获取三方的周期核时对照表，也基于计算实例id，获取账单数据计算实例和任务数据计算实例的对应关系，当利用率满足基准，且与监控数据误差保持一致时，对账正确；否则告警对账异常的地方。并基于历史对账数据，预测下个对账周期的核时消耗，单位核时成本等。

该基于混合云计算平台的对账系统的对账方法，具体的，是由四个模块协调工作的，下面针对每个模块的步骤步骤予以说明：