[发明专利]一种大数据汇总调度服务的实现系统及方法

说明书

本发明公开了一种大数据汇总调度服务的实现系统及方法，属于大数据存储技术领域。本发明的大数据汇总调度服务的实现系统包括云服务端和本地服务器，云服务端提供哈希加盐加密的云端Web API和文件数据库ElasticSearch，本地服务器提供本地调度服务和本地关系型数据库，云服务端调用文件数据库ElasticSearch对用户关系的数据进行聚合与分组查询，本地调度服务通过配置时间间隔的方式进行汇总调度服务，本地关系型数据库接收本地调度服务传输回的汇总数据。该发明的大数据汇总调度服务的实现系统适用于大数据的分类聚合汇总查询，解决了云服务器之间、大数据与关系数据之间的关联问题，具有很好的推广应用价值。

技术领域

本发明涉及大数据存储技术领域，具体提供一种大数据汇总调度服务的实现系统及方法。

背景技术

随着系统产生的用户行为数据不断增加，大量的行为数据不再适合人工阅读或查看，因此，往往采用一些技术对已有用户行为进行分析整理，以图表或者其他易于阅读的方式将用户数据信息展示出来。

收集来的行为数据存储方式的扩展以及多样性选择，我们希望收集的行为数据可以输出到更多介质上。实时检索行为数据的体验增强，越来越多的用户提出了对海量行为数据快速检索的需求。个性化图表时代的来临，能够提供友好的Web界面、增强用户体验的需求日益增多。为了满足以上需求，Elastic Search成为了我们首选的文档数据库。

目前为了缓解大数据传输的压力，在云服务器上会设置反向代理以及磁盘队列，并且接入多节点的集群处理数据。因此使用Nginx作为反向代理工具，使用Apache Kafka磁盘队列缓存请求，使用ElasticSearch的集群化部署成了我们必不可少的部署方案。基于时间戳的加盐哈希散列的WebAPI增强了公网调用API的安全性，也是业界的一种标准。为了实现可配置的自动化工作调度，Quartz调度服务得到了业界的一致认可。综上所述，基于ElasticSearch、可靠的Web API以及Quartz组件，我们在保证用户体验、可靠性、安全性与健壮性的同时开发一种大数据汇总调度服务也就成为现实。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种适用于大数据的分类聚合汇总查询，解决了云服务器之间、大数据与关系数据之间的关联问题的大数据汇总调度服务的实现系统。

本发明进一步的技术任务是提供一种大数据汇总调度服务的实现方法。

为实现上述目的，本发明提供了如下技术方案：

一种大数据汇总调度服务的实现系统，包括云服务端和本地服务器，所述云服务端提供哈希加盐加密的云端Web API和文件数据库ElasticSearch，本地服务器提供本地调度服务和本地关系型数据库，云服务端调用文件数据库ElasticSearch对用户关系的数据进行聚合与分组查询，本地调度服务通过配置时间间隔的方式进行汇总调度服务，本地关系型数据库接收本地调度服务传输回的汇总数据。

所述本地关系型数据库默认为MicroSoft Sql Server,备选数据库为MySQL，PosgreSQL。

作为优选，本地服务器提供的本地调度服务，根据本地配置的时间间隔，定时的向云服务端的云端Web API发送Http请求，将返回的汇总指标数据，插入本地关系型数据库中。

本地服务器将加密方式为时间戳与盐值为基础值，通过MD5散列返回16进制的摘要作为判断是否安全的依据，云服务端根据传来的盐值与散列值进行判断，如果云服务端生成的散列码与本地服务器传过来的散列码一直，则消息安全。

作为优选，云服务端提供的指标数据为PC数、异常数和活跃用户数，接收的参数为时间段参数和指标类型参数。

作为优选，所述文件数据库ElasticSearch对用户的PV详情、异常详情通过聚合与日期分组，得到用户需要的PV数、异常数和活跃用户数。