[发明专利]海量数据的接收存储方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，特别涉及一种海量数据的接收存储方法及系统。

背景技术

在现有的数据处理应用中，一般要经过数据接收、存储和处理三个大步骤，其中在接收和存储过程中，由于现有的方法一般采用数据实时接收和存储的方式，即通过数据接收端口，例如用于接收用户请求并产生用户数据的网页(web)程序，将用户数据实时发送给数据存储服务器，数据存储服务器对用户数据进行实时存储入库；然而，对于这样的接收存储方式，在接收过程中，容易在大量用户高并发请求时造成数据拥挤而丢失用户数据，或者在数据实时存储时，容易在数据存储服务器上造成硬盘IO过高而出现延时或卡死状态，影响数据安全性。

发明内容

有鉴于此，本发明提供了一种海量数据的接收存储方法及系统，可以减少数据接收和存储时的数据丢失问题，提高数据安全性。

为达上述目的，本发明的技术方案具体是这样实现的：

一种海量数据的接收存储方法，该方法包括：

为用户请求分配缓存标识；

将根据用户请求产生的用户数据写入所述缓存标识对应的缓存模块；

当所述缓存模块达到缓存上限时，将所述缓存模块中已缓存的用户数据进行数据入库处理。

较佳地，所述将用户数据写入所述缓存标识对应的缓存模块，包括：

读取所述缓存标识对应的缓存模块的缓存状态值，若所述缓存状态值达到预设的最大值，则将已缓存的用户数据写入数据服务器，清空缓存之后，将所述待缓存的用户数据写入所述缓存模块；若未达到预设的最大值，则对该缓存模块加锁，将待缓存的用户数据写入到该缓存模块后解除锁定。

较佳地，所述数据入库处理包括：

将所述缓存模块中缓存的所有用户数据写入数据服务器中，并清空缓存；

定时将所述数据服务器中保存的用户数据转移到临时数据库；

定时对所述临时数据库中保存的用户数据进行汇总和过滤，并将得到的最终用户数据写入正式数据库。

较佳地，该方法进一步包括：

定时检查所述缓存模块是否正常，若不正常，则将缓存模块将已缓存的用户数据写入数据服务器并清空缓存。

较佳地，所述不正常包括：

缓存的用户数据与预设的结构不同、缓存状态值不在预设的最大值之内、或缓存模块状态异常之中任意一项或多项。

较佳地，所述数据服务器中的用户数据以多个数据文件形式分布在不同硬盘中。

一种海量数据的接收存储系统，该系统包括：接口模块、多个缓存模块和数据存储模块；

所述接口模块，为用户请求分配缓存标识；并根据所述缓存标识，将根据用户请求产生的用户数据写入所述缓存标识对应的缓存模块；当所述缓存模块达到缓存上限时，指令所述缓存模块将已缓存的用户数据转移到所述数据存储模块；

所述缓存模块，用于缓存用户数据；根据所述接口模块的指令，将缓存的所有用户数据转移到所述数据存储模块；

所述数据存储模块，用于对从所述缓存模块接收到的用户数据进行数据入库处理。

较佳地，所述接口模块包括：

标识分配单元，用于接收用户请求，并为用户请求随机分配缓存标识；

缓存状态获取单元，用于读取所述缓存标识对应的缓存模块的缓存状态值；

数据写入单元，若所述缓存状态值达到预设的最大值，则指令所述缓存模块将已缓存的用户数据写入数据存储模块，清空缓存之后，将所述待缓存的用户数据写入所述缓存模块；若未达到预设的最大值，则对该缓存模块加锁，将待缓存的用户数据写入到该缓存模块后解除锁定。

较佳地，所述数据存储模块包括：数据服务器、临时数据库和正式数据库；

所述数据服务器，用于保存所述缓存模块写入的用户数据，并定时将自身保存的用户数据转移到临时数据库；

所述临时数据库，用于保存所述缓存模块写入的用户数据，并定时对自身保存的用户数据进行汇总和过滤，并将得到的最终用户数据写入正式数据库；

所述正式数据库，用于保存所述临时数据库写入的最终用户数据。

较佳地，所述接口模块进一步包括：

缓存检查单元，定时检查所述缓存模块是否正常，若不正常，则指令缓存模块将已缓存的用户数据写入数据服务器并清空缓存。

较佳地，所述缓存检查单元，在所述缓存模块缓存的用户数据与预设的结构不同、缓存状态值不在预设的最大值之内、或缓存模块状态异常之中任意一项或多项发生时，判定所述缓存模块不正常。