[发明专利]一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统

说明书

本发明公开了一种基于分布式系统基础架构平台对税务数据进行处理的方法，所述方法包括：将税务数据存储至分布式文件系统；将所述税务数据分为动态税务数据和静态税务数据；采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。本申请通过大数据平台的构建，使得海量税务数据能够进行统一管理，并在此基础上进行数据的处理分析，有效实现了税务数据的应用。

技术领域

本发明涉及税务数据处理技术领域，更具体地，涉及一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统。

背景技术

目前，省国税局的数据汇聚库归集了金三核心征管、防伪税控、货运、电子底账、稽核和出口退税等主要业务系统数据。维度模型所需源数据主要通过数据汇聚库推送，再进行加工处理进入维度模型。维度模型数据加工处理作业约900个，加上纳税信息等级、决策二包、大企业等约1300个数据处理作业。税收监控分析、税收优惠等在用的统计分析类系统也通过数据汇聚库得到生产系统数据。现有的数据加工处理存在以下问题：不同系统采集的数据不统一，采集的数据没有进行统一整合，存在数据信息不完整的问题；不同的系统、不同的服务商分别进行各自的数据集中和加工处理，由于各服务商加工处理数据的方式各不相同，没有统一的标准规范，数据分析处理、挖掘困难，很难形成对税务数据的应用。随着税务大数据时代的到来，数据日益具备数据海量、类型多样、变化迅速、价值稀疏的显著特征，现有基于传统技术架构的数据分析应用面临巨大挑战，技术架构必须进行相应调整，以便适应的大数据分析挖掘的需要。

因此，需要一种技术，以实现基于分布式系统基础架构平台对税务数据进行处理。

发明内容

本发明一种基于分布式系统基础架构平台对税务数据进行处理的方法及系统，以解决如何对税务数据进行处理的问题。

为了解决上述问题，本发明提供了一种基于分布式系统基础架构平台对税务数据进行处理的方法，所述方法包括：

将税务数据存储至分布式文件系统；

将所述税务数据分为动态税务数据和静态税务数据；

采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；

将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；

对所述税务数据进行清洗转换，包括对所述税务数据进行统一处理，以及将不完整的所述税务数据补充完整；

对所述静态税务数据进行挖掘和分析；对所述动态税务数据进行流式处理。

优选地，还包括：建立用于所述税务数据展示的展示数据库。

优选地，还包括：对所述税务数据进行检索。

优选地，还包括：对所述税务数据进行展示。

优选地，还包括：通过以空间换空间的方式，进行所述税务数据的展示。

基于本发明的另一方面，提供一种基于分布式系统基础架构平台对税务数据进行处理的系统，所述系统包括：

第一存储单元，用于将税务数据存储至分布式文件系统；

定义单元，用于将所述税务数据分为动态税务数据和静态税务数据；

第一处理单元，用于采集所述动态税务数据，对采集的所述动态税务数据进行实时处理；

第二存储单元，用于将所述动态税务数据存储至第一数据库，将所述静态税务数据存储至第二数据库；