[发明专利]一种大数据汇总调度服务的实现系统及方法

权利要求书

1.一种大数据汇总调度服务的实现系统，其特征在于：包括云服务端和本地服务器，所述云服务端提供哈希加盐加密的云端WebAPI和文件数据库ElasticSearch，本地服务器提供本地调度服务和本地关系型数据库，云服务端调用文件数据库ElasticSearch对用户关系的数据进行聚合与分组查询，本地调度服务通过配置时间间隔的方式进行汇总调度服务，本地关系型数据库接收本地调度服务传输回的汇总数据，本地服务器提供的本地调度服务，根据本地配置的时间间隔，定时的向云服务端的云端WebAPI发送Http请求，将返回的汇总指标数据，插入本地关系型数据库中，云服务端提供的指标数据为PV数、异常数和活跃用户数，接收的参数为时间段参数和指标类型参数，所述文件数据库ElasticSearch对用户的PV详情、异常详情通过聚合与日期分组，得到用户需要的PV数、异常数和活跃用户数，所述本地调度服务基于开源调度库Quartz实现自定义调度任务。

2.一种大数据汇总调度服务的实现方法，其特征在于：该方法包括大数据的分组聚合查询、云端WebAPI及本地调度服务汇总到本地关系型数据库中，具体包括以下步骤：

S1、本地服务器启动本地调度服务，定时向云服务端的云端WebAPI发送Http请求，在Http请求中添加盐值与MD5散列值的参数用于识别安全；

S2、根据Http请求，云服务端对返回的数据进行安全判定，确认安全后，进行取数；

S3、根据步骤S2的安全判定及Web API请求的数据类别，云服务端调用文件数据库ElasticSearch对用户关心的数据进行聚合与分组查；

S4、云服务端返回指标数据，根据聚合要求和取数约定对汇总的数据进行分组聚合，聚合的要求包括时间分组、企业分组或用户分组，取数的约定包括PV数、异常数或用户数；

S5、本地服务器接收云服务端返回的指标数据并存储汇总指标数据，本地服务器接收云服务端返回的指标数据，通过返回的JSON数据反序列化为需要存储到本地关系型数据库的数据对象列表，向关系型数据库插入相应的指标数据。