[发明专利]数据采集系统的存储管理方法

说明书

技术领域

本发明涉及电信领域的数据采集系统，尤其涉及一种数据采集系统的存储管理方法。

背景技术

在电信领域很多的原始数据都是通过运行设备的原始话单提供的，这样的数据的处理有几个特点：数据量大，几个月的数据就可达T级；处理性能要求高，处理速度要求几千条记录/秒。

这些数据需要进行实时查询、汇总计算和建立数据仓库，需要满足数据实时入库的同时，还要支持对入库数据的即时查询。为了满足较快的查询速度，就需要对查询的关键字上建立索引；但当数据表建立索引后，数据加载的速度将受影响，影响程度和索引的数据相关。测试数据显示，增加数个索引，入库速度将降低到几分之一，就可能导致处理速度跟不上数据的产生速度。所以存在一个入库速度和提高查询速度的矛盾。

因此，需要一种海量数据采集系统的存储管理方案，用于解决话单数据采集系统的入库速度和实时查询需求的矛盾问题，同时增加存储数据的可维护性。

发明内容

本发明的主要目的在于提供一种数据采集系统的存储管理方法，用于解决海量数据采集系统的数据存储、维护存在的问题，以及数据入库速度和查询速度之间的矛盾问题。

为了实现上述目的，本发明提供了一种数据采集系统的存储管理方法。该存储管理方法包括以下步骤：

步骤S102，设置一个或多个数据库表，将数据库表按时间范围进行分区；

步骤S104，设置数据库表的索引，索引按照与数据库表进行分区的规则一致的规则进行分区；

步骤S106，在需要增加不包括在已有时间范围内的数据时，创建新的数据库表分区，加入数据库表，在需要增加包括在已有时间范围内的数据时，将新数据加入时间上对应的数据库表分区；

步骤S108，当数据库表分区对应的数据采集完成之后，对数据库表分区建立索引。

优选地，在步骤S102中，将不同的数据库表设置为存储不同类型的数据。

优选地，在步骤S102中，同一数据库表的分区都存放在同一表空间上，不同数据库表使用不同表空间。

步骤S106还可以包括：如果存在数据库表分区的时间超过在线保留时间，则删除数据库表分区，如果存储数据库表的存储空间的使用率超过使用率阈值，则删除最早时间的数据库表分区，直到使用率低于使用率阈值。

优选地，在步骤S108中，当数据库表分区对应的数据采集完成之前，不对数据库表分区建立索引。

可选地，在步骤S108中，采用索引信息表记录各个数据库表分区对应的索引，以进行索引的维护。可选地，在步骤S108中，通过索引空间维护定时任务来定时维护索引。索引信息表可以包括：数据库表标识、数据库表分区的时间标识、以及数据库表分区对应的索引状态。索引状态可以包括：初始状态，表示尚未建立索引；未完成状态，表示执行过索引建立任务但未完成；完成状态，表示索引已成功建立。

可选地，定时将当前时间的数据库表分区的索引加入索引信息表，查询索引信息表中时间小于当前时间并且索引状态为初始状态或未完成状态的数据库表分区，并在数据库表分区的数据采集完成的情况下为其建立对应的索引，并将其索引状态改为完成状态。

通过上述技术方案，本发明有效的提高了话单大数据存储的可行性、可维护性，最重要的是解决了数据入库和数据查询性能的矛盾问题，整个处理方法清晰，易于实现。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的数据采集系统的存储管理方法的流程图；

图2是根据本发明实施例的话单数据的存储示意图；

图3是根据本发明实施例的索引信息表；以及

图4是根据本发明实施例的话单数据入库和索引维护示意图。

具体实施方式

下面将参考附图详细说明本发明。

参照图1，根据本发明的数据采集系统的存储管理方法包括以下步骤：

步骤S102，设置一个或多个数据库表，将数据库表按时间范围进行分区。

优选地，将不同的数据库表设置为存储不同类型的数据。

可选地，时间上相邻的两个数据库表之间的时间间隔为一天。

优选地，同一数据库表的分区都存放在同一表空间上，不同数据库表使用不同表空间。

步骤S104，设置数据库表的索引，索引按照与数据库表进行分区的规则一致的规则进行分区。