[发明专利]一种基于大数据技术提升数据交换效率的构建方法

说明书

本发明提出一种基于大数据技术提升数据交换效率的构建方法，其特征在于，包括：1）中心端的构建步骤；建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；2）数据提供方或数据使用方的构建步骤；建立业务系统、业务库和桥接接口；3）数据使用方的构建步骤；建立业务系统、业务库和桥接接口。本发明可有效扩展可存储的数据类型，同时分布式的技术可大大提升数据读取与写入的效率，使平台得到较高的吞吐量和可靠性，从而可处理海量的数据及数据交换任。

技术领域

本发明涉及大数据技术，具体涉及一种基于大数据技术提升数据交换效率的构建方法。

背景技术

在传统的数据交换平台实现交换时，一般包含中心节点、前置交换节点、桥接程序，每一个交换节点包括了一组输入接口和输出接口，通过接口可以向交换节点写入数据或读取数据，在每一个端节点前置机上带有一个前置交换库，用于存放交换数据，参见附图1。此过程一条数据的交换会有3次写入与3次读取的过程，同时这个过程也会受载体（服务器资源）或系统性能（数据库的IO速度）因素的影响，当数据量不多时，多次的写入与读取不会有明显的效率影响，但数据交换量到了一定的级别，如单次交换上亿条数据，那么就会直接影响到交换效率，而这种交换效率的影响不能单纯通过硬件的升级进行优化提升，需要架构进行调整优化。

随着社会的发展，数据量的级别不断在提升，传统的技术已无法满足对海量数据处理的需求，例如，现有政务数据交换平台主要是基于ETL技术实现，在数据的抽取、转换及加载过程中会因软硬件资源的配置而受影响，另外数据交换平台在建设初期数据交换量不多的情况下，一般都是采用单节点的设计，这种设计在数据量及数据交换任务不多的情况下可正常运行，然而随着国家把大数据上升为国家战略层面，要求各省市都需要实现数据的共享、交换与开放，导致业务系统数据量激增，数据交换越来越频繁。这种单节点设计的弊端逐渐暴露出来，在数据交换高峰时，由于单台服务器或传统技术性能的限制，许多数据交换任务来不及处理，造成大量数据交换任务的积压，使数据交换平台逐渐成为信息化建设的瓶颈。

面对越来越多的数据存量及交换场景，数据交换平台迫切需要寻找一个可提供交换效率的有效方法。

发明内容

为克服现有技术中存的缺陷，本发明提出一种基于大数据技术提升数据交换效率的构建方法，目的在于突破现有的交换瓶颈，提高整体的交换效率，其具体技术内容如下：

一种基于大数据技术提升数据交换效率的构建方法，其包括：

1）中心端的构建步骤

建立中心数据库，其中包括基于RDBMS的基础信息库和基于HDFS的交换数据库；

建立桥接接口，其中包括基于Flume和Kafka系统的采集服务程序、分发服务程序，Flume用于收集各种来源、形式的数据，并把数据传给Kafka集群，由Kafka集群统一分发给大数据集群进行处理；

2）数据提供方或数据使用方的构建步骤

建立业务系统、业务库和桥接接口；

3）数据使用方的构建步骤

建立业务系统、业务库和桥接接口。

作为优选，所述基础信息库为基于Mysql或/和Qracle的关系型数据库，所述换数据库为基于Hbase或/和MangoDB的非关系型数据库。