[发明专利]一种面向水利物联网的海量信息存储与处理方法

说明书

技术领域

本发明涉及物联网服务层的数据处理领域，尤其是一种面向水利物联网的海量信息存储与处理方法。

背景技术

水利物联网处在一个快速发展的阶段，随着传感器技术、嵌入式系统等新技术在物联网的广泛应用，对系统的处理能力、数据量等需求将都将飞速提高，从感知层传感器、传输网络到应用系统，大量的传感器数据信息、视频信息、音频信息以及调度、处理与控制信息需要进行记录和保存，涉及海量的数据信息存储与处理。针对于快速成长的数据量，需要借助灵活、可扩展的储存技术，根据应用的需要不断对系统进行升级以适应未来对海量数据的存储。同时存储技术还影响着数据的处理能力，集中式的存储方式会为系统网络数据传输产生较大的压力。目前，水利物联网应用发展迅速，应用范围不断扩大，涉及到的数据呈几何级数增加，形成海量数据，同时网络数据压力及大量远程数据调用而造成局部网络拥塞，如何解决解决海量数据的存储及处理已成了水利物联网发展的瓶颈问题。

发明内容

本发明要解决的技术问题是：为了克服上述中存在的问题，提供了一种面向水利物联网的海量信息存储与处理方法，其实现了针对大量的传感器数据信息、视频信息、音频信息以及调度与控制信息需要进行记录和保存等海量信息的存储与处理，满足了水利物联网的发展需要。

本发明解决其技术问题所采用的技术方案是：一种面向水利物联网的海量信息存储与处理方法，具体步骤如下：a.建立一种基于可扩展网络存储技术(Network Attached Storage：NAS)的存储结构模式，NAS技术是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便对不同主机和应用服务器进行访问的技术，是一种特殊的、能完成单一或一组指定功能的基于网络的存储设备；

b.利用上述a中的存储结构模式通过自带的网络接口把存储设备直接连入到网络中，实现海量数据的网络共享，把应用程序服务器从繁重的I/O负载中解脱出来，它是新兴的面向网络存储模式的标志性设备。NAS技术解决了水利物联网不断增长的数据需求，可以根据不同阶段的数据存储需求对数据中心进行升级，以满足不同阶段应用发展的需要。同时分布式的存储方式便于对不同数据的异地管理，系统可以根基需要将存储设备分布在不同的地点，减少由于大数据量的远程数据传输而造成的网络拥塞。

a中存储结构模式采用DAS与NAS相结合的混合存储结构模式，其由高速数据采集卡、数据记录服务器、磁带库、RAID磁盘阵列、网络设备、数据记录子系统组成，输入信号ECL到TTL电平的转换、串并转换、数据缓存、数据管理及高速PCI接口通过高速数据采集卡完成，采集后的数据通过数据记录服务器将数据经过主机PCI总线将数据实时记录在RAID磁盘阵列上，实时记录后的数据可以转存到磁带库中，还可以利用数据记录子系统通过千兆网络设备接口与外部进行数据的导入和导出。

本发明的有益效果是：所述的一种面向水利物联网的海量信息存储与处理方法，解决随着所处理数据的容量不断提高、数据处理能力要求不断增强的问题，提高了水利物联网的海量数据储存和处理能力。

具体实施方式

现在本发明作进一步详细的说明。

一种面向水利物联网的海量信息存储与处理方法，具体步骤如下：