[发明专利]动力装备远程中心分布式存储与分布式计算方法

说明书

本发明公开了动力装备远程中心分布式存储与分布式计算方法，涉及数据处理技术领域，包括步骤：通过数据主服务器转发客户端读取请求读取数据子服务器机组数据并自动进行失败重连；通过数据主服务器转发客户端写入请求将机组数据写入数据子服务器，以半同步的方式完成实时同步，以失败记录日志保证数据一致性；通过定时器发布计算任务至计算主服务器，并将计算任务分配至计算子服务器，在分配任务失败后自动重发任务。本发明通过半同步的方式保障实时同步，通过失败记录日志解决分布式系统中的数据一致性问题；定时监测计算资源的状态，在将计算任务发送后等待其确认当前状态后执行并在开始计算前确认其计算能力，提高了系统的稳定性和可靠性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种动力装备远程中心分布式存储与分布式计算方法。

背景技术

工业动力装备是当今大部分企业重要的动力源，是不可或缺的设备。为了保持动力设备运行的可靠和稳定性，动力装备运行需要建立设备远程监控中心对设备的原始数据和计算数据进行监控管理，随着技术方面的飞速发展，需要处理的数据量越来越大，在企业应用方面，为了更好及时的掌握数据信息，采用远程中心分布式存储数据，可以更好地及时掌握价值，对未来进行调控和检测，让工业动力装备处于良好的工作状态。分布式存储和计算技术也为当前海量数据处理提供了一种高效处理方式。相对于以往的数据存储和计算技术，分布式存储具有对数据存储更安全，数据读取更快捷的优点。数据的分布式计算架构速度快，能及时发现问题。

分布式系统中，问题主要集中在分布式存储和分布式计算两个方面。

在分布式存储方面，常规的分布式存储架构，比如HDFS等，更专注于大批量数据或文件的快速存储与读取问题，且无法利用数据库的一些优良特性。而使用数据库自带的同步功能，数据同步对开发者来说并不是完全透明的，出现问题也难以进行追溯；同时，数据一致性的保障，往往需要牺牲实时性，因为正常逻辑下，需要所有服务器数据一致后，才能返回结果。

在分布式计算方面，现有的分布式计算架构如Hadoop及Map/Reduce侧重解决繁重计算任务的分解、并行计算与结果汇总。而很多运算是很难进行并行化设计的，比如迭代式的计算，后面一步的执行需要前一步的结果。这要求一个完整的运算只能在单台服务器上运行。

目前已有的基于资源统一调度的分布式资源调度方法，其在可用资源的确认上不具有实用性，优先级的确定由人为确定，无法在实际运行中计算资源的动态变化特性。

因此，本领域的技术人员致力于开发一种动力装备远程中心分布式存储与分布式计算方法，不基于任何第三方平台提供的同步方案，以简单易行的“半同步”逻辑在尽可能保证同步的实时性，通过失败记录日志保障数据的最终一致性。另外专门设置定时器，用以实时监测计算资源的状态，同时在计算任务分发给指定slave后等待其确认当前状态后执行，否则提交给其他slave。通过定期判断slave状态，和开始计算前再次确认计算资源相结合，极大地提高了系统的稳定性和可靠性。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何解决大量计算任务并发而单个计算任务无法进行拆分的问题。

为实现上述目的，本发明提供了一种动力装备远程中心分布式存储与分布式计算方法，所述方法包括以下步骤：

步骤1、通过数据主服务器转发客户端数据读取请求，读取存储在数据子服务器上的机组数据，并自动进行失败重试；

步骤2、通过数据主服务器转发客户端数据写入请求，将机组数据写入数据子服务器，以半同步的方式完成实时同步，以失败记录日志的方式保证数据一致性；

步骤3、通过定时器发布计算任务至计算主服务器，由计算主服务器将计算任务分配至计算子服务器，并在分配任务失败后自动重发任务。

进一步地，所述步骤1包括以下步骤：