[发明专利]一种话单存储系统及方法

说明书

本发明实施例提供一种话单存储系统及方法。其中，系统包括：话单缓存模块、redis集群和话单出库合并模块；其中，所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。本发明实施例提供的系统及方法，在话单文件进行最终入库存储之前，通过话单文件合并操作，减少入库话单量，节约了话单存储系统的存储空间，提高了查询效率。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种话单存储系统及方法。

背景技术

目前，用户的话单大多存储于Hadoop话单系统中。Hadoop话单系统包括：批价后话单服务器、hadoopSplit模块、话单入库模块和hbase集群四部分。话单存入Hadoop话单系统中的具体流程为：批价后话单服务器对经过业务运营支撑系统(BusinessOperationSupport System，简称BOSS)批价后生成的话单文件进行有用入库字段的抽取，以生成缩小版的话单文件；然后，批价后话单服务器通过hadoopSplit模块和话单入库模块，将缩小版的话单文件存入hbase集群。

对于流量话单来说，一条缩小版的流量话单在Hadoop话单系统中约占用0.39K的存储空间，以此推算，每月的流量话单大约占用Hadoop话单系统49T的存储空间，而一般来说，Hadoop话单系统需保留用户近7个月的历史话单记录，因此，Hadoop话单系统需要343T的存储空间，而按照正常65％的空间利用率计算，Hadoop话单系统需要530T的存储空间。同时，随着业务的不断发展，流量话单量还在快速增长，这就导致Hadoop话单系统的存储资源越来越紧张，因此，Hadoop话单系统压力逐渐增大。

同时，随着流量话单量的快速增长，用户进行话单查询时的查询效率在不断下降，当用户要查询的话单量大于某个阈值时，Hadoop话单系统将无法提供查询服务。

发明内容

针对现有技术中存在的技术问题，本发明实施例提供一种话单存储系统及方法。

第一方面，本发明实施例提供一种话单存储系统，包括：话单缓存模块、redis集群和话单出库合并模块；其中，

所述话单缓存模块，用于将hadoopSplit模块所输出的话单文件缓存至所述redis集群；

所述话单出库合并模块，用于将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。

第二方面，本发明实施例提供一种基于第一方面所述的话单存储系统的话单存储方法，包括：

通过话单缓存模块将hadoopSplit模块所输出的话单文件缓存至redis集群；

通过话单出库合并模块将所述redis集群中缓存的话单文件进行合并，并将合并成功的话单文件输出至话单入库模块，以使得所述话单入库模块将所述合并成功的话单文件存储至hbase集群。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面所提供的方法的步骤。