[发明专利]一种超大数据交换引擎

说明书

技术领域

本发明涉及一种超大数据交换引擎。

技术背景

治安卡口系统发展迅速，已初步形成了覆盖全省主要道路的治安卡口系统，在实战中也发挥显著效用，但其早期卡口软件管理平台又多以单级部署为主，缺乏立足于全省的统一部署规划，形成单系统信息孤岛，数据信息共享不畅，难以形成立足于全省的查控系统，在实战中无法最大限度地发挥效用。

为解决以上问题，省级公安机提出了依托公安信息网络，搭建省、市、县三级治安卡口管理平台，实现全省所有治安卡口数据实时转发，分域统一存储。省级管理平台与公安业务信息库建立联接，实现各类违法车辆信息的比对报警以及统一查询；实现立足于全省联网的布控、比对、报警，构建全省治安卡口系统查控体系，与全省公安系统的防控体系紧密结合。

全省卡口数据的实时汇聚转发，由于受地域距离、网络带宽等因素影响也产生了如果高效的处理超大数据量数据交换以及保证数据实时有效传输等问题。

传统的做法是通过数据交换的两端实时监听，实时进行数据交换，若数据量大，容易发生数据传输拥堵的现象，导致数据传输不完整以及数据处理不及时。

发明内容

本发明的目的在于提供一种超大数据交换引擎，能有效地保证数据实时高效、有效地传输，避免网络、地域等因素造成数据的丢失以及延迟。

一种超大数据交换引擎，其特征在于：包括数据发送端、若干数据打包和数据发送模块、对象容器、若干数据接收和数据拆包模块和数据接收端，其中数据打包和数据发送模块和对象容器附带本地存储单元，数据发送端接收需要发送的数据，交由数据打包和数据发送模块进行打包，封装生成类型无关性对象数据缓存在本地存储单元，以异步网络收发模式传输至对象容器，该对象容器接收打包好的各种类型对象数据，并依序缓存在本地存储单元中；由数据接收和数据拆包模块从对象容器中读取需要的对象数据，然后进行拆包并恢复成原始数据通过数据接收端送入业务系统。

本发明改进了传统的数据交换模式，针对超大数据量能够实现高效数据交换，并能够适应不同网络环境，保证数据高效、实时、有效地传输，为公安机关缉查交通违法嫌疑车辆、交通肇事逃逸车辆、涉牌违法车辆以及刑事治安案提供技术保证。

本发明不仅可以适用于治安卡口系统，也可适用于其他多级数据传输、大数据量数据传输系统。

附图说明

图1为本发明超大数据交换引擎的结构示意图；

图2为本发明的工作流程示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

如图1所示，本发明一种超大数据交换引擎，包括数据发送端1、若干数据打包和数据发送模块2、对象容器3、若干数据接收和数据拆包模块4和数据接收端5，其中数据打包和数据发送模块2和对象容器3附带本地存储单元，数据发送端1接收需要发送的数据，交由数据打包和数据发送模块2进行打包，封装生成类型无关性对象数据缓存在本地存储单元21，以异步网络收发模式传输至对象容器3，避免网络不稳定时造成数据传输的延迟，并启用断点续传功能，避免数据丢失并可提高传输效率，对象容器3接收打包好的各种类型对象数据，包括图片、视频信息、文本信息等，并依序缓存在本地存储单元31中；数据接收和数据拆包模块4从对象容器3中读取需要的对象数据，然后进行拆包并恢复成原始数据通过数据接收端5送入业务系统。

所述的数据发送端1和数据接收端5可以是超大数据交换引擎的二次开发接口，通过接口可以将需要发送的数据(文本、图形图像等)提交给数据打包和数据发送模块2；或者，由数据接收和数据拆包模块4从对象容器3中读取需要的对象数据，进行拆包，还原为原始数据，通过该接口送入对应的业务系统(数据库信息、文件信息等)。

如图2所示，本发明一种超大数据交换引擎按照如下步骤进行数据处理：

步骤1、数据打包和数据发送模块2从数据发送端1获得数据(文本、图片)；

步骤2、数据打包和数据发送模块2对数据进行打包，将获得的数据生成数据类型无关性的对象数据发送至对象容器3；当网络异常时，数据打包和数据发送模块2将该对象数据缓存在本地存储单元21中避免数据丢失，一旦网络恢复正常，则将对象数据从本地存储单元21中取出发送到对象容器3中；

步骤3、对象容器3接收对象数据，并依序缓存至本地存储单元31中等待数据接收和数据拆包模块4来读取数据；