[发明专利]一种基于分表的数据存储方法和系统

说明书

本发明公开了一种基于分表的数据存储方法，首先按数据生成日期将数据存储在基本数据表中，而后对所述基本数据表中的数据进行轮询，当存在满足预设条件的数据时，启动数据分表线程，将符合条件的数据转移至相应数据分表中，并删除基本数据表中的对应数据；另外，还可以根据当前日期计算出必须保存的最早数据的日期，并获得该日期之前的所有数据表的名字，并逐一进行删除操作，从而在无需增加存储容量的情况下，满足用户的存储量需求。按照本发明的存储方法对数据进行存储后，一张数据表的存储量从千万级甚至亿级降到十万级，查询和统计速度得到了明显的提升，查询统计等待时间从几十秒降到秒级，能够有效满足用户的需求，提升了用户体验。

技术领域

本发明属于数据库管理和应用技术领域，具体涉及一种基于分表的数据存储方法和系统。

背景技术

随着电脑设备的不断升级和网络的不断发展，大数据量成为局域网的一个显著特征。一般，通过数据库对大数据进行管理和应用。集群式数据加密设备是一种用于准确记录各种数据的系统，图1为现有技术中的一种集群式数据加密设备系统。如图1所示，所述系统由数据服务器11、数据发送设备12、数据加密设备集群13、局域网14组成。当然这里的局域网也可以进一步通过internet进行更大范围的数据联网。整个系统采用C/S模式网络架构，其中数据服务器11作为C/S模式中的服务器端，数据发送设备12和数据加密设备集群13则为C/S模式中的客户端。数据服务器11处理来自客户端的消息，同时存储、汇总数据，数据加密设备集群13用于记录数据并对数据加密，生成并返回给数据发送设备12唯一标识一条数据的加密信息。

该系统的一种应用场景为商业零售企业的数据采集。在这种场景下，数据发送设备12即为POS开票端，数据加密设备集群13内存储电子发票号码，数据加密信息为税控码、发票代码、发票号码等信息。所有的POS开票端通过局域网14并发的连接到数据服务器11，每完成一笔交易记录，打印小票或发票前，将数据（开票日期、开票时间、金额、商品明细、付款明细等）发送到数据服务器11，数据服务器11记录交易数据，并将合计金额等加密相关数据发送到数据加密设备集群13获取税控信息。对于大型商超这种开票量相对比较大的企业来说，数据服务器保存的数据比较多，由于数据服务器的存储容量是有限的，对任何服务器都不可能永无止境的增加数据，这对服务器的数据存储提出 了一个挑战。

该系统的另一种应用场景为商超企业查询之前开过的小票，以进行各种统计或者退票操作。目前很多大型商超都已经能够做到门店省级甚至全国联网，这样可以只部署一台数据服务器即可，既方便了管理，也在一定程度上节省了用户成本。但带来的一个问题是，当系统运行一段时间后，开票量可以达到千万级甚至亿级，如果不采取任何优化措施，根据日期进行查询操作的等待时间将是非常可观的，用户难以接受，这就对查询速度提出了新的要求。

发明内容

本发明实施例的目的是提供一种基于分表数据存储方法和数据查询方法，

根据本发明的一个方面，提供了一种基于分表的数据存储方法，所述方法包括如下步骤：

按数据生成日期将数据存储在基本数据表中；

对所述基本数据表中的数据进行轮询，当存在满足预设条件的数据时，启动数据分表线程；

将启动数据分表线程的数据转移至相应数据分表中，并删除基本数据表中的对应数据。

上述方案中，所述预设条件为数据信息完整，数据的生成日期符合分表要求；

所述数据分表按月份进行排列。

上述方案中，所述方法还包括：

在数据库中设置记录分表最小日期的第一字段和记录分表最大日期的第二字段；当数据分表线程进行一次分表后，采用日期列表中的最小日期和最小日期更新所述第一字段和第二字段；

期限存储线程获取数据库中当前列表的日期，根据数据库设置的数据年限最大有效值计算需要保存数据的最早日期；