[发明专利]一种数据处理方法及系统

说明书

本申请公开了一种数据处理方法及系统，包括：采用MPP集群每天对当天的业务数据进行处理，得到基础数据并将其存储；判断是否接收到第一指令；若是，通过MPP集群中的MPP节点，配置专用用户数据，并为专用用户创建专属的操作环境，处理准备与第一指令对应的特定时间段和特定机构范围的专属数据；接收并响应专用用户在专属的操作环境中，针对专属数据触发的的查阅操作请求；在专用用户的有效时间到期后，自动回收专用用户的相关数据。所述数据处理方法及系统，采用MPP集群对业务数据进行处理，大大提升数据处理速度，且数据交付过程通过软件配置即可实现，不需要进行额外的数据拷贝、刻录，从而整个数据交付周期大大缩短，数据的安全性也得到保障。

技术领域

本发明涉及数据处理技术，更具体的说，是涉及一种数据处理方法及系统。

背景技术

银行的单位性质及业务模式决定了银行每天都会产生大量业务数据，而人民银行也会根据惯例定时或不定时的对银行的业务数据进行检查监管。由于银行的业务数据量庞大，且对数据安全有要求，配合人民银行检查的过程一般采用数据申请、下发文件，而后刻录光盘、硬盘，甚至专用PC的方式交付，从而整个过程需要投入的人力物力较大；且这种方式周期比较长，过程中数据安全性难以保证。

发明内容

有鉴于此，本发明提供了一种，以克服现有技术中由于的问题。

为实现上述目的，本发明提供如下技术方案：

一种数据处理方法，包括：

采用MPP集群每天对当天的业务数据进行处理，得到基础数据并将其存储；

判断是否接收到第一指令；

若是，通过MPP集群中的MPP节点，配置专用用户数据，并为所述专用用户创建专属的操作环境，处理准备与所述第一指令对应的特定时间段和特定机构范围的专属数据；

接收并响应所述专用用户在所述专属的操作环境中，针对所述专属数据触发的的查阅操作请求；

在所述专用用户的有效时间到期后，自动回收所述专用用户的相关数据。

可选的，在所述通过MPP集群中的MPP节点，配置专用用户数据，并为所述专用用户创建专属的操作环境，处理准备与所述第一指令对应的特定时间段和特定机构范围的专属数据前，还包括：

根据所述第一指令设置切分规则。

可选的，所述数据切分规则包括按时间切分和/或按机构切分。

可选的，所述配置专用用户数据包括：

配置专用用户的账户、密码和权限信息，所述权限信息中包括有效时间。

可选的，所述通过MPP集群中的MPP节点，配置专用用户数据，并为所述专用用户创建专属的操作环境，处理准备与所述第一指令对应的特定时间段和特定机构范围的专属数据，包括：

配置专用用户；

在MPP节点中新建专用数据库表，根据所述数据切分规则跨MPP节点进行数据复制，实现数据切分，生成专属数据；

对所述专属数据进行动态赋权，使其只对所述专用用户开放操作权限。

可选的，执行数据切分的数据对象包括：日增量累加数据、日切片累加数据和日全量累加数据。

可选的，所述采用MPP集群每天对当天的业务数据进行处理并存储，包括：

采用MPP集群按监管标准每天对当天的业务数据进行处理并存储。

可选的，在所述接收并响应所述专用用户在所述专属的操作环境中，针对所述专属数据触发的的查阅操作请求前，还包括：