[发明专利]一种用于对大数据进行处理的方法及系统

说明书

本发明公开了一种用于对大数据进行处理的方法及系统，其中方法包括：在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。

技术领域

本发明涉及大数据处理与应用技术领域，更具体地，涉及一种用于对大数据进行处理的方法及系统。

背景技术

省级粮食管理平台是国家比较重视的一项信息化建设项目，随着省级平台完工的省份越来越多，平台逐步也要加入其他的综合决策的统计功能，其中对接国家局数据，将国家局系统中通过报表填报的数据通过互联网的形式，从国家局系统传到各个省级平台，使得省局领导可以实时看到本省的粮食收储，保管，物流等各个环节的数据，对做出正确的决策有着非常重要的作用。目前，国家局要求全国各省的粮食监管平台要与国家局进行网络物流互联互通，并且接口必须暴露在互联网上以便可以通过web服务的方式进行数据的通信。如图2所示。

国家局接口文档中规定从国家局到各个省平台的接口一共13个，其中重要的业务数据有：加工转换信息接口，收支平衡月报表数据接口，价格监测信息数据接口，加工转换信息接口是填报各类企业的经济指标，产品产量指标等数据，收支平衡月报表是记录库存变化情况的数据，包含期初库存，省内购进，省外购进，进口，轮出，期末库存等等。价格监测信息数据接口是记录不同品种，不同性质，不同等级的价格数据，包含不同的地区。通常一个省级下面有60个到100个填报点，通常一天会填报一次价格，库存数据。企业的经济指标以及产品产量指标基本上一年填报一次。

问题1：由于数据量太大，造成某些统计页面初始化需要很久才可以展现出来。客户不能接受这样的速度，所以在系统架构上需要解决此问题。

问题2：由于省里面六十多个填报点，填报的数据有的时候是非法数据，比如说空字符，以及是不合法的数字，会造成统计汇总的时候数据的真实，需要整理这些数值数据。

因此，需要一种数据，以实现对大数据进行处理。

发明内容

本发明技术方案提供一种用于对大数据进行处理的方法及系统，以解决如何对大数据进行处理的问题。

为了解决上述问题，本发明提供了一种用于对大数据进行处理的方法，所述方法包括：

在大数据处理系统的框架中设置定时器任务，所述定时器任务用于根据设定的时间执行任务；

当所述定时器任务设置完成后，将所述定时器任务分别注入清洗筛选定时器线程和统计数据计算定时器线程；

通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据；

通过所述统计数据定时器线程按照所述定时器任务设定的时间对目标数据的统计业务进行统计，将统计后的统计数值进行缓存，缓存中的所述目标数据的统计数值用于直接调用。

优选地，所述通过所述清洗筛选定时器线程按照所述定时器任务设定的时间对待清洗数据进行清洗，获取清洗后的合法数据，包括：

所述清洗筛选定时器线程，根据待清洗数据的种类，为所述待清洗数据建立接口；

所述为所述待清洗数据建立接口包括：查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理。

优选地，所述查询所述待清洗数据是否有非法字符，以及将查询到的所述待清洗数据中非法字符进行处理，包括：