[发明专利]一种海量交通数据的处理方法及系统

说明书

技术领域

本发明涉及交通信息处理领域，尤其涉及一种海量交通数据的处理方法及系统。

背景技术

为了掌握当前的交通状况及交通状况的变化趋势，交通数据处理系统需要实时采集、处理和分析不断变化的车速、流量、事件等数据，同时还要不断地与历史数据进行比对、分析，然后进行数据融合处理。由于交通状况的数据采集量大、数据更新速度快、交通分析模型的计算复杂度高、计算数据量大，因此交通数据处理系统必须具有针对海量数据进行操作和处理的能力。

目前的交通数据处理技术还是基于单机的系统，它们有的是将计算和存储集中在一台计算机上；有的是将计算处理划分成几个模块，每个模块用一台计算机进行处理。由于交通数据处理系统要求有对海量数据的存储和快速处理能力，因此，人们往往只好采购价格昂贵的高配置服务器、小型机、甚至中、大型机来完成存储和计算任务。

但随着城市范围的不断扩大，监测的交通覆盖区域也在不断的扩大，随着人们对交通模型研究的不断深入，交通分析模型也日益复杂，这就要求交通数据处理系统需具有更强大的针对海量数据的存储、处理、操作能力和更快的计算速度。为此人们将不得频繁的进行硬件升级，使得交通数据处理系统的维护成本很高。

发明内容

本发明的实施例提供一种海量交通数据的处理方法及系统，能够降低数据处理的硬件要求，进而降低交通数据处理系统的维护成本。

为达到上述目的，本发明的实施例采用如下技术方案：

一种海量交通数据处理系统，包括：

通过网络连接的管理节点和工作节点集群；

管理节点，用于监控各个工作节点的工作状态，监控每个工作节点的资源使用情况和任务执行情况，根据每个工作节点的资源使用情况，向各个工作节点分配交通数据的存储和交通分析模型的计算任务；

工作节点，用于向所述管理节点发送自身资源的使用情况；接收所述管理节点分配的任务，进行交通数据的存储和交通分析模型的计算；

网络路由器，用于连接所述管理节点和所述工作节点。

一种海量交通数据处理方法，包括：

管理节点获取通过网络与其连接的各个工作节点的资源的使用情况，根据每个工作节点的资源使用情况，向各个工作节点分配交通数据的存储和交通分析模型的计算任务；

工作节点接收所述管理节点分配的所述交通数据的存储和交通分析模型的计算任务，进行所述交通数据的存储和交通分析模型的计算处理。

本发明实施例提供的海量交通数据的处理方法及系统，包括通过网络连接的管理节点和工作节点集群；管理节点用于监控各个工作节点的工作状态，监控每个工作节点的资源使用情况和任务执行情况，根据每个工作节点的资源使用情况，向各个工作节点分配交通数据的存储和交通分析模型的计算任务；工作节点用于向管理节点发送自身资源的使用情况；接收管理节点分配的任务，进行交通数据的存储和交通分析模型的计算。这样，与现有技术中的单机系统或将存储、计算分为几个模块，一台机器执行一个模块的存储、计算方式不同，本发明实施例提供的方法及系统不再需要每台计算机硬件的高性能，而是能够充分有效利用连接在一起的各个工作节点计算机的资源，同样实现海量交通数据的处理，从而降低了对每台计算机的硬件性能要求，人们无需频繁的进行硬件升级，降低了系统的维护成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的海量交通数据处理系统的结构示意图；

图2为本发明二实施例提供的海量交通数据处理系统的结构示意图；

图3为本发明实施例三提供的海量交通数据处理方法的流程示意图；

图4为本发明四实施例提供的海量交通数据处理方法的流程示意图；

图5为城市路链切分示意图；

图6为本发明实施例四提供的海量交通数据处理方法中的工作节点的计算过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供的海量交通数据处理系统，如图1所示，包括：