[发明专利]一种大数据抽取和交换系统

权利要求书

1.一种大数据抽取和交换系统，其特征在于：

包括部署于Spark平台的控制交换中心，通过Yarn资源管理框架将Spark平台和Hadoop平台部署于同一个集群；控制交换中心内存对象存储与Spark中，所有中间数据与不同类型数据模型转换任务也由Spark执行；

包括都分散在不同的服务器中的关系数据库系统、非结构化文档、传感器数据；

包括一个独立的集群部署Hadoop大数据平台，所述Hadoop大数据平台包含HDFS、HBase、Hive子系统，用于加载抽取的数据，并提供分析功能；

包括部署于不同数据源系统之上或者控制交换中心的交换代理；用于通过远程接口来和数据源进行交互；

包括交换代理与交互控制中心之间的控制消息通道与数据通道；

所述控制交换中心包含任务调度模块、内存对象管理模块、数据转换模块；

所述任务调度模块用于调度交换代理数据抽取、数据加载任务，数据模型转换任务，数据传输任务；

所述内存对象管理模块用于管理中间数据的存储与更新；

所述数据转换模块用于不同数据模型与统一内存对象之间的转换；

所述控制交换中心用于通知数据源的交换代理进行数据抽取，并将数据传输到控制交换中心；所述控制交换中心用于进行源数据模型到内存对象模型的转换；

所述控制交换中心还用于任务的统一调度：

a)对于控制交换中心的数据转换任务，采用Spark提供的编程语言开发；

b)根据需求或根据资源利用率导向调度任务执行的顺序；

当内存空间不足，无法存储新到数据，控制交换中心根据调度策略通知交换代理，暂停数据抽取任务，等内存空间满足需要时，继续执行数据抽取任务。

2.如权利要求1所述的一种大数据抽取和交换系统，其特征是：当系统出现故障时，控制交换中心在进行每一个操作前记录日志，故障后重启系统，恢复失效前的状态，然后重新抽取所有丢失的数据，重构内存空间。

3.如权利要求1所述的一种大数据抽取和交换系统，其特征是：控制与交换中心采用统一的内存对象模型来存储数据交换的中间数据，每一种数据源的数据通过交换代理实现数据模型与内存对象模型的映射转换；统一的内存对象模型采用SparkRDD格式来存储数据；数据在内存中中转，不写入磁盘。

4.如权利要求1或2或3所述的一种大数据抽取和交换系统，其特征是：所述控制交换中心通过队列管理等待的任务。