[发明专利]基于大数据的发票数据实时聚合装置

权利要求书

1.一种基于大数据的发票数据实时聚合装置，其特征在于，包括：

数据采集模块、数据缓存模块、数据处理模块、数据聚合模块、结果数据存储模块、数据维度展现模块；

所述数据采集模块采集电子发票数据处理任务，根据所述数据处理任务采集对应的目标数据，所述电子发票为全国用户的日常消费的电子发票；

所述数据缓存模块将所述目标数据缓存至内存中，通过分布式消息队列将数据缓存在内存中，解决数据重复消费和数据丢失；所述解决数据重复消费和数据丢失的方法为记录offset，下一个组内消费者可以接着记录的offset位置继续消费；其中，offset记录方案：每次消费时更新每个topic+partition位置的offset在内存中，Map为一种缓存数据的key-value存储的集合；Mapkey,value，key＝topic+'-'+partition，value＝offset，当调用关闭消费者线程时，把Map的offset数据记录到文件中；下一次启动消费者，需要读取上一次的offset信息，方法是以当前的topic+partition为key，从上次的Map中去寻找offset；然后指定到上次的offset位置；

所述数据处理模块对所述目标数据进行去重的预处理，得到预处理数据；

所述数据聚合模块对所述预处理数据进行聚合，得到结果数据；所述数据聚合模块采用Spark对所述预处理数据进行聚合，得到所述结果数据；

所述结果数据存储模块将所述结果数据存储至关系型数据库mysql数据库中，mysql中存储一天中根据时间地域维度使用spark计算好的实时数据；

所述数据维度展现模块展现所述结果数据；所述数据维度展现模块应用spring-mvc框架结合echarts展现一天中24小时每个小时统计的所述结果数据，所述结果数据为消费者消费习惯、产品销售情况、用户活动的地域和时间。

2.根据权利要求1所述的装置，其特征在于，所述数据采集模块应用分布式数据采集工具Flume采集所述电子发票数据处理任务。

3.根据权利要求1所述的装置，其特征在于，所述数据处理模块采用Spark对所述目标数据进行预处理，得到所述预处理数据。