[发明专利]一种软硬件压缩可配置的大数据处理系统

说明书

技术领域

本发明涉及计算机系统设计领域和集成电路设计领域，尤其是涉及一种计算机存储系统，特别是提供一种软硬件压缩可配置的大数据处理系统。

背景技术

随着计算机技术和集成电路技术的飞速发展，为了满足人们在金融、电信、安全、资源等各个领域的需求，大容量存储能力的计算机系统越来越成为高性能计算机系统的基本特征，然而不同领域的计算机数据存储系统特性并不一致，这就为计算机存储系统结构设计带来的挑战，例如，在资源勘探领域，计算机系统的计算资源紧缺，需要对大量的数据进行计算分析，这就需要采用硬件对存储数据进行压缩和解压缩存取操作，尽可能的减少CPU计算资源。而在历史数据保存时，系统写操作远超读操作，并且CPU计算资源充足，这就为软件实现压缩和解压缩提供了条件。因此，软硬件数据压缩和解压缩操作的灵活配置，可以满足不同领域大数据处理系统的应用需求，可合理利用系统资源，提高系统的利用率和执行效率。

发明内容

为了解决现有技术的问题，本发明提供了一种软硬件压缩可配置的大数据处理系统，其设计主要考虑大数据处理系统的特点的影响，对数据压缩处理采用软硬件配合的方式，提高系统资源的利用率和系统执行效率。

本发明所采用的技术方案如下：

一种软硬件压缩可配置的大数据处理系统，其包括文件系统压缩层、软件压缩单元、硬件压缩单元和软硬件同步单元，其中，所述的文件系统压缩层位于系统虚拟文件系统和本地文件系统之间并连接软件压缩单元，所述的文件系统压缩层还通过硬件驱动层连接硬件压缩单元，所述的软件压缩单元和硬件压缩单元之间设置所述的软硬件同步单元。

软件压缩单元，通过软件数据压缩和解压缩的方式对数据进行处理，或单独配置软件的压缩功能，或单独配置软件的解压缩功能。

硬件压缩单元，通过硬件数据压缩和解压缩的方式对数据进行处理，或单独配置硬件的压缩功能，或单独配置硬件的解压缩功能。

软硬件同步单元配置软硬件压缩算法的一致性，并且同步数据压缩信息。

一种软硬件压缩可配置的大数据处理系统的实现方法，包括配置软件压缩和解压缩时的方法，配置为硬件压缩和解压缩时的方法，当配置为软件压缩、硬件解压缩时的方法和当配置为硬件压缩、软件解压缩时的方法，其中：

当配置为软件压缩和解压缩时，其方法是：数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用软件压缩写操作命令，将数据经过软件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，数据由磁盘读出，由软件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层；

当配置为硬件压缩和解压缩时，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用硬件压缩写操作命令，将数据经过硬件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，数据由磁盘读出，由硬件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层；

当配置为软件压缩、硬件解压缩时，通过软硬件的配置模块，配置其统一的压缩算法，并且由软硬件同步单元同步软硬件的压缩信息，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用软件压缩写操作命令，将数据经过软件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，不同的是，数据由硬件解压缩，数据由磁盘读出，由硬件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层；

当配置为硬件压缩、软件解压缩时，通过软硬件的配置模块，配置其统一的压缩算法，并且由软硬件同步单元同步软硬件的压缩信息，数据存储写操作由操作系统应用层发起，经由应用层、虚拟文件系统层，到达文件系统压缩层，此时文件系统压缩层调用硬件压缩写操作命令，将数据经过硬件压缩的方式进行处理，之后经过压缩的数据返回文件系统压缩层，经由本地文件系统写至磁盘；读操作为写操作的逆过程，不同的是，数据由软件解压缩，数据由磁盘读出，由软件压缩单元对压缩数据进行解压缩后，经过文件系统压缩层和虚拟文件系统层，到达应用层。