[发明专利]一种基于多级缓存机制的数据更新系统及方法

说明书

本发明提供了一种基于多级缓存机制的数据更新系统及方法，所述系统包括：GPRS模块，用于接收空调机组发来的请求数据，并将所述请求数据上报至所述服务器；服务器，用于将所述GPRS模块上报的请求数据存入内存缓存中；当所述内存缓存中存满数据时，将所述内存缓存中的数据存入文件缓存中；其中，在所述文件缓存中产生数据时，Hadoop文件系统备份所述文件缓存中产生的数据；当所述Hadoop文件系统中备份的数据完成解析时，将解析完的数据存入Redis数据库中；其中，当达到更新时间节点时，将至少一个数据更新指令更新的数据写入所述Redis数据库中。本发明提供的技术方案，能够在容纳大数据的情况下，保持数据更新的稳定性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种基于多级缓存机制的数据更新系统及方法。

背景技术

随着现代互联网的快速发展，带宽的提升和庞大的数据并发，导致对服务器性能有更高的要求，维护成本也随之增加，越来越多的应用面临着数据访问瓶颈问题，怎么存储和处理数据成为严峻的挑战。

当前，数据并发将可能造成大量的请求方同时请求读写一个数据的情况，这将导致数据库的死锁，造成应用的崩溃。因此，随着数据量的不断增长，提供一个能够容纳超大数据量以及能够稳定进行数据更新的系统显得尤为重要。

发明内容

本发明实施例提供了一种基于多级缓存机制的数据更新系统及方法，能够在容纳大数据的情况下，保持数据更新的稳定性。

为实现上述目的，本发明实施例一方面提供一种基于多级缓存机制的数据更新系统，所述系统包括GPRS模块和服务器，所述服务器中包括内存缓存、文件缓存、Hadoop文件系统以及Redis数据库，其中：所述GPRS模块，用于接收空调机组发来的请求数据，并将所述请求数据上报至所述服务器；所述服务器，用于将所述GPRS模块上报的请求数据存入所述内存缓存中；当所述内存缓存中存满数据时，将所述内存缓存中的数据存入所述文件缓存中；其中，在所述文件缓存中产生数据时，所述Hadoop文件系统备份所述文件缓存中产生的数据；当所述Hadoop文件系统中备份的数据完成解析时，将解析完的数据存入所述Redis数据库中，以使得在所述服务器重启时，将磁盘中的数据加载至内存中；其中，当所述服务器接收到至少一个数据更新指令时，判断是否已达到更新时间节点；当达到所述更新时间节点时，将所述至少一个数据更新指令更新的数据写入所述Redis数据库中。

进一步地，所述GPRS模块还用于在接收到所述空调机组发来的请求数据后，判断当前的请求数据量是否累计达到预设数据量；当达到时，将所述请求数据上报至服务器。

进一步地，当所述文件缓存中存满数据后，清空所述文件缓存中的数据，以进行下一次的数据存储。

进一步地，在对所述服务器中的数据进行读写操作时，所述服务器还用于接收操作请求，并确定所述操作请求的类型；将内存缓存中的当前数据取出，并判断取出的数据是否为脏数据；如果所述取出的数据为脏数据，从所述Redis数据库中读出所述操作请求对应的目标数据，并将所述目标数据写入所述内存缓存中；对所述内存缓存中的目标数据进行与所述操作请求的类型相适配的操作。

进一步地，所述服务器还用于如果所述取出的数据为非脏数据，将所述取出的数据写回所述Redis数据库中。

进一步地，在对所述内存缓存中的目标数据进行与所述操作请求的类型相适配的操作时，所述服务器还用于当所述操作请求为读操作时，将所述目标数据标记为非脏数据，并将所述目标数据返回给发送所述读操作的请求方；当所述操作请求为写操作时，在所述内存缓存中对所述目标数据进行更新，并将更新后的数据标记为脏数据。