[发明专利]基于私有云存储的海洋实时数据同步系统

说明书

技术领域

本发明涉及一种数据存储系统，特别是一种基于私有云存储的计算机文件利用网络存储技术实现的数据同步方法。

背景技术

随着数据流模型的实例化研究平台：“数字海洋”辅助决策系统的建设和完善，当前科研人员和业务化使用人员对辅助决策系统的需求不仅仅是将海洋数据“数字化”存储，这在“数字海洋”建设第一阶段已经完成，在“数字海洋”辅助决策系统的研发和业务化使用过程中，科研人员和业务使用者提出了一些新的问题，比如如何对海量数据动态分配存储空间以保证其存储系统的负载均衡性和可靠性，并可以更加节约人力和财力资源，因为在实际工作中，服务器集群和冷却所消耗的电量极大，而且海洋实时监测数据源源不断的从采集观测站发送到各自所属的海洋站中做存储，海洋站将实时数据存储并传输到所属海洋中心站，各海洋中心站最终将实时数据存储后发送至海区中心站做存储和数据挖掘。实际工作中，海区中心站服务器将每一条数据的不同属性提取出来，将具体的属性值存储到有着不同业务需求的专题数据库中，而不是整条存储数据。由于海洋数据具有海量、多源、异构的特点，当实时数据不间断的传输至海区中心站时，接收数据的服务器将会出现计算入库延迟甚至由于不停计算存储空间产生了操作系统死锁最终导致死机，严重影响了海洋中心站的业务进度。比如在实际工作中，海洋台站以频率为每10分钟发送一条大小为1MB的监测数据到海洋中心站，假设国家海洋局某海区中心站同时接收15个海洋中心站(每个海洋中心站由15个台站组成)发送的实时监测数据，而且当服务器集群在分配存储空间的同时，一些服务器仍需面对负载比较重的请求比如进行计算密集的查询、数据库访问等；而大部分服务器仅仅负载比较轻的请求比如只需要读一个HTML页面或者进行很简单的计算，该服务器集群的负载不均衡性将会导致个别服务器死机甚至造成整个数字海洋系统的工作效率降低。然而以上假设也仅仅考虑了每个台站仅发送的一条数据所耗费的资源量，事实上海洋台站采集各种海洋数据并将这些数据分成若干条发送至海洋中心站进行存储，海区服务器集群的负载压力可想而知。所以符合实际需求的海洋数据的存储动态负载均衡存储问题急需解决。

私有存储云只对受限的用户提供相应的存储服务，使用存储服务的用户不需要了解“云”组成的具体细节，只要知道相应的接口，并提供相应的策略，剩下的工作交由“云”来完成，这朵“云”就提供存储空间，并且其中的数据可以做到随时访问，就像访问本地的存储一样。作为云端则在不影响用户的情况下，提供了很多的附加功能，使得云成为高效、可靠、安全的存储池。就较低的整体存储成本而言，使用云存储技术的好处对非结构化数据来说是显而易见的。云存储技术是以服务为基础，无需购买、管理和维护存储硬件设备，私有云存储具有的特点是：1.统一管理；2.易于实现集中备份及容灾；3.易于扩展、升级方便；4.节约成本，绿色节能。

随着海洋数据传输专线的不断升级和网络电脑性能的不断提高，海洋数据传输网络已经具备了构建私有云存储海洋数据的条件，构建基于数字海洋数据传输专线的私有云存储的优势包括：1.提高灵活性，包括显著缩短内部传输响应时间；2.通过提高资源利用率来实现更高的效率，包括大幅节约能源；3.充分利用网络内部空闲的硬件和软件，在提升可用性的同时，最大程度地控制成本增加；4.利用全新的数据同步入库系统来优化改进数据管理机制，私有云存储技术通过消除传统数据存储预期的增长容量和负载而配置的大量存储空间，以达到数据空间接近100％的利用率。除了以上提到的四个优势外，私有云存储还具有可扩展性、透明的支持基础能力和解决高峰负荷能力强等特点。

发明内容

本发明是利用海洋数据传输专线网络，构建一个海洋传输的私有云存储系统，私有云存储不仅是在通过统一数据接口进行传输和存储实时数据功能中发挥了作用，更重要的是该存储系统将会优化现有的实时数据多数据库存储机制，可以实现当实时数据传输到海区中心站时，利用私有云存储系统对每条新数据的属性进行存储并分析，根据目标专题数据库不同的业务需求，自动智能的提取相关属性值分别入库存储。

附图说明

图1为本发明所揭示的私有云存储的多数据库同步系统的框架图。

图2为本发明所揭示的私有云存储系统工作流程图。

具体实施方式