[发明专利]一种大数据转换方法和装置

说明书

本发明提供了一种大数据转换方法和装置，包括：在业务系统所在用户网络出口设置网关，并在网关上下挂智能网关；由网关对接收的报文进行识别，将与该网关所在用户网络中业务系统的数据库相关的数据库交互报文发送至该网关下挂的智慧网关进行数据转换处理，并转发经数据转换处理后的报文。本发明能够减轻智能网关的处理压力。

技术领域

本发明涉及通信技术领域，特别涉及一种大数据转换方法和装置。

背景技术

智慧城市业务是以大数据传输、数据中心互联、虚拟化、数据分析为技术基础的新型IT业务发展方向，通过打通业务流程上的各个IT数据库节点，创造出数据共享平台环境。

智慧城市的核心价值是大数据的分析，这种大数据分析是建立在多种现有数据库构架之上的。数据库经过常年的发展，其数据本身的价值早已经超越了数据库厂商的品牌价值。在互连网时代，大量的中小企业选择的数据库都不尽相同，为了保证数据的安全性和完整性，用户越来越抵触“更换数据库”这样的操作，这对大数据分析非常不利，因为大数据分析是建立在广泛的数据量之上的，为了达到这样的数据量，要么需要长久的积累、要么需要广泛的开放合作。

为了解决上述问题，服务于大数据转换的系统应运而生，其基本工作原理为：协调不同数据库应用商开放共享数据库表结构，获得大量不同数据库的数据来源；通过软件设定不同表结构之间的对应关系，将不同存储结构的表结构进行转换。

参见图1，图1是现有技术智慧城市业务系统组网示意图，业务系统1所在用户网络出口设置有智能网关1，业务系统2所在用户网络出口设置有智能网关2，智能网关1和智能网关2相连，且均连接到一软件服务器。软件服务器负责制定数据库表结构之间的映射关系并下发给智能网关1和智能网关2，智能网关1和智能网关2根据数据库表结构之间的映射关系进行大数据转换。

在图1中，智能网关中包含了前文描述服务于大数据转换的系统，该系统既可能是一个硬件设备，通过内置的软件程序对数据结构进行简单替换(依赖于别的设备为它提供替换规则)；也可能是一个独立的软件系统，对数据结构进行查找、替换、比对等较复杂一些的操作。

大数据转换的服务目标是处于网络构架顶层的应用层的数据库，因此所有的大数据转换过程都需要完整解开所有报文的封装结构，通过选择(Select)语句对数据进行查询选择，再进行插入(Insert)、删除(Delete)等操作。这样所有的通信流量都需要经过智能网关设备处理，同时智能网关亦要进行转发处理，压力很大。

发明内容

有鉴于此，本发明的目的在于提供一种大数据转换方法和装置，能够减轻智能网关的处理压力。

为了达到上述目的，本发明提供了了如下技术方案：

一种大数据转换方法，应用于包含具有数据库的多个业务系统的网络中，各业务系统所在用户网络出口设置有网关且该网关下挂了具有大数据转换功能的智能网关，该方法应用于任一所述网关，包括：

当前网关在非智能网关连接端口接收报文；

当该报文是与当前网关所在用户网络中业务系统的数据库相关的数据库交互报文时，将该报文发送至当前网关下挂的智慧网关进行数据转换处理，转发经数据转换处理后的报文；

当该报文不是与当前网关所在用户网络中业务系统的数据库相关的数据库交互报文时，根据IP转发表转发报文。

一种大数据转换装置，应用于包含具有数据库的多个业务系统的网络中，各业务系统所在用户网络出口设置有网关且该网关下挂了具有大数据转换功能的智能网关，该装置应用于任一所述网关，包括：接收单元、处理单元；

所述接收单元，用于在当前网关的非智能网关连接端口接收报文；