[发明专利]电力系统跨平台大数据文件高速并发存取方法

说明书

技术领域

本发明涉及一种电力系统跨平台大数据文件高速并发存取的实现方法，属电力系统数据处理领域。

背景技术

随着电网建设规模的不断扩大，数字化电网、数字化变电站等研究应用的不断深入，电力系统面对的数据存储规模数十倍的增长，数据存储规模将从目前的GB级转向TB级，另外，随着PMU采集装置的普及以及广域动态监测系统WAMS的发展，带来了更加突出的海量电力信息数据存储问题。相对RTU数据采集而言，PMU采集的一个突出特点就是采集频率非常高，达到每秒25、50甚至100帧，且对所有数据必须完整保存。因此在相同采集点的情况下，其数据存储规模将是稳态数据的数百到上千倍。如此海量规模的电力信息，常规的关系型数据库来存储这些海量信息无论从写入速度还是查询效率上来说都将很难满足应用的需求。近年来，时间序列数据库的出现使得这些应用需求的实现成为可能。时间序列数据库是专门设计用来处理具有时间序列特性的数据库管理系统，针对实时高频采集数据具有很高的存储速度、查询检索效率以及数据压缩比。此类数据库内部机制为文件方式，因此如何实现跨平台大数据文件高速并发存取是时间序列数据库研发的一个重要的课题。经初步检索，暂未发现相关公开内容。

发明内容

本发明所要解决的技术问题是提供一种电力系统跨平台大数据文件高速并发存取的方法。

为解决上述技术问题，本发明提供一种电力系统跨平台大数据文件高速并发存取方法，其特征在于：对数据文件采用内存映射文件的方式来加以处理，且采用将数据文件分固定块内存映射文件方法，并发地将数据文件的各个部分依次映射到数据处理服务进程中的一个较小的地址空间，以达到应用程序高速存取数据的要求；另外，设置一个对于已经加载过的数据如果再次出现访问则不需要再次加载、从而提高访问的效率以及速度的高速缓冲区，该高速缓冲区具备一定大小限制，在缓冲内容超过该限制时，能够自动将最不常用的数据从高速缓冲区移除。

所述存取方法可支持Microsoft Windows、UNIX、IBM AIX、Sun Solaris、Alpha Tru64、HPUX、Linux操作系统平台，且源代码为一份相同的实体，不需要进行多份源码的维护。

所述存取方法的编程语言采用ANSI C/C++，并符合IEEE POSIX.2标准。

本发明的工作原理为：

数据文件操作是应用程序最为基本的功能之一，各类操作系统(UNIX、Linux、Windows)均提供了支持文件处理的函数和类。一般来说，这些函数可以满足大多数场合的要求，但是对于电力系统应用动辄几百GB乃至TB级别的海量数据文件，通常的文件处理方法进行处理显然是行不通的，而需要采用内存映射文件的方式来加以处理。

内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件(Page File)，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，所以在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。

本发明的存取方法统一管理应用运行时的所有需要处理的数据文件，对于数据文件的内存映射文件采用部分映射的原理。应用程序运行时随时需要通过本发明的存取方法映射(加载)所需要的数据到数据处理服务，加载的数据源往往有几十甚至几百个GB级别容量的数据文件，这些数据显然是不可能一次将海量文件全部映射，因此本发明的存取方法采用将数据文件分固定块内存映射文件方法，并发地将数据文件的各个部分依次映射到数据处理服务进程中的一个较小的地址空间，以达到高速存取数据的要求。

本发明所达到的有益效果：

本发明的电力系统跨平台大数据文件高速并发存取的实现方法，通过一个通用的缓存管理程序(BufferManager)与实际磁盘文件的交互，从而满足应用程序对大数据文件并发访问的便捷性、高速性以及可靠性。

同时，本发明具有可移植性，能够安全、稳定运行在Microsoft Windows、IBM AIX、UNIX、Sun Solaris、Alpha Tru64、HPUX、Linux等操作系统平台上。

附图说明