[发明专利]一种大数据实时处理方法及处理系统

说明书

本申请揭示了一种大数据实时处理方法以及处理系统，该实时处理方法包括如下步骤：接收实时数据；按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。本申请提出的大数据处理方法及其装置，可以依据数据采集速度为之提供与之匹配的数据处理速度，节约网络资源，同时缩短响应时间，为用户提供实时的数据服务。

技术领域

本申请属于计算机技术领域，具体而言，涉及一种大数据实时处理方法及其处理系统。

背景技术

随着网络的迅速普及，对于数据的需求日益增多，例如在ICU重症监护室，从监护设备网关源源不断采集到病人生命体征数据、从检验工作站产生检验结果数据，这些实时数据需要迅速、准确的处理。现有的大数据处理方法局限于网络传输的能力，而使用单线程、单服务器的处理方式，从而使得数据运行周期长，降低客户体验，即使使用多处理器，也由于处理器之间协调问题，而使得处理器集群不能发挥其最大的工作能力。

发明内容

有鉴于此，本申请提出一种大数据实时处理方法及其系统，致力于解决现有技术中对于大数据处理能力不足、实时性不强的技术问题。

为解决上述技术问题，本申请采用如下技术方案：

本申请保护一种大数据实时处理方法，包括如下步骤：

接收实时数据；

按照数据接收速度和接收总量创建N个主控节点；

将数据分布到N个主控节点中；

获取集群服务器的实时处理能力数据；

根据集群服务器的处理能力选择N个工作节点；

N个主控节点将数据发送到N个工作节点。

其中按照数据接收速度和接收总量创建N个主控节点包括如下子步骤：

计算数据接收速度；

按照预定时间间隔计算接收总量；

评估主控节点的最小以及最大处理能力；

选择最优的主控节点个数N；

创建N个主控节点。

其中将数据分布到N个主控节点中包括：

将数据分为N份；

为每份数据配置标签；

将标签存储到数据分布列表中；

将每份数据分配到相应的主控节点中，主控节点对其进行处理。

其中获取集群服务器的实时处理能力数据包括根据集群服务器中空闲服务器的CPU处理能力以及存储器的存储容量，判断集群的实时处理能力。

其中根据集群服务器的处理能力选择N个工作节点包括，对集群服务器中的每个服务器的处理能力进行排序，选择前N个作为工作节点。

本申请还保护一种任务控制器，包括如下部件：

接收器，用于接收实时数据；

处理器，用于按照数据接收速度和接收总量创建N个主控节点；将数据分布到N个主控节点中；获取集群服务器的实时处理能力数据；根据集群服务器的处理能力选择N个工作节点；N个主控节点将数据发送到N个工作节点。

其中处理器包括创建模块，用于按照数据接收速度和接收总量创建N个主控节点，创建模块包括如下子模块：

速度计算单元，计算数据接收速度；