[发明专利]一种适用于数据中心海量短报文数据处理的系统

权利要求书

1.一种适用于数据中心海量短报文数据处理的系统，其特征在于：所述系统包括插件式数据适配器及框架模块、分布式消息中间件模块、数据转换器模块、数据存储模块和数据存储模块；

其中，插件式数据适配器及框架模块包括数据采集、数据接收、数据导入功能；所述系统包括多种适配器模块，所述多种适配器模块集成在一起接受框架的管理，使用框架的服务接口进行交互，在框架的管理下各个适配器有序工作，所述框架提供适配器的认证和注册功能，并在运行时监控适配器的运行；

分布式消息中间件模块包括数据分类、数据传输功能；所述消息中间件起到两个作用：第一，消息路由，消息路由管理着消息的传递，通过一定的配置项分发将消息分发到不同的消息队列中，起到指挥调度的作用；第二，消息传输，消息队列接收到消息路由的指令后，按照消息路由的指令，执行消息传输；

数据转换器模块包括数据转换、数据入库功能；数据转存器负责将采集器中打包的数据进行格式转化，生产易于入库和读取的标准格式数据；所述数据转存模块位于分布式消息中间件模块和数据存储模块之间，主要作用是将订阅的消息转换为适合进入数据库的格式，按照指定的分片策略入库；

数据存储模块包括关系型数据库、非关系型数据库、高速缓存数据库、应用数据库；所述数据存储模块还包含三个引擎模块：文档型数据库子模块、关系型数据库子模块和服务高速缓存子模块，其中，所述服务高速缓存数据库同样被设计为非结构化的数据库类型，并且为了追求速度最大化，使用了物理内存作为缓存的主存储体；

服务应用与管理模块包括基础服务和服务管理框架；

其中，所述系统采用MongoDB与Redis的组合来满足海量数据存储和高速查询的需求，采用PostgreSQL为关系数据库；当前端调用查询服务时，首先，先查看高速缓存Redis中是否有结果数据，如果有则直接反馈结果数据即可，如果高速缓存Redis中没有结果数据，则需要在Mongo数据库内查询，将结果返回前端，与此同时，同步将结果数据保存在高速缓存Redis中，当下一次有相同查询的时候，高速缓存Redis就能够直接返回前端数据；然后，通过日志服务器记录查询日志，通过对日志分析的结果预测后续请求，做到预先处理以提高查询的效率。

2.根据权利要求1所述的系统，其特征在于：所述分布式消息中间件模块中的消息中间件独立于各个系统，是一种能在各个分、子系统模块和平台运行，支持在任意架构的系统中各个组件之间进行通讯的协议实现组件，负责在各个分、子系统模块之间实时高效传递消息；采用消息队列MQ支持同步传输和异步传输，保证数据报文不重复、不丢失、同顺序。

3.根据权利要求1所述的系统，其特征在于：所述系统的用户仅需要通过互联网或政务内网通过防火墙连接核心交换机，然后由交换机连接至服务器，在服务器内部通过VLAN划分了内部数据层和外部数据层用于数据安全和外部服务的隔离，其中，数据库集群、消息中间件集群、转存器都存放在内部数据层，通过内部数据接口形成的服务统一暴露给外部数据层，供外部访问。

4.根据权利要求1所述的系统，其特征在于：所述系统逻辑上为三层架构，分别是数据层、业务逻辑层、服务层；其中数据层用于业务数据、管理数据、任务数据、用户数据、协议库数据、日志数据等数据的存储，业务逻辑层包括数据采集、消息中间件、数据转存、数据存储、数据服务生产、数据服务管理，服务层主要是统一的服务管理框架对外提供数据调用服务接口。

5.根据权利要求1所述的系统，其特征在于：数据更新会通过监控器监控，通过监控分析目前缓存中的数据是否过期，来进行缓存数据更新。