[发明专利]一种海量交通数据的处理方法及系统

权利要求书

1.一种海量交通数据处理系统，其特征在于，包括：

通过网络连接的管理节点和工作节点集群；

管理节点，用于监控各个工作节点的工作状态，监控每个工作节点的资源使用情况和任务执行情况，根据每个工作节点的资源使用情况，向各个工作节点分配交通数据的存储和交通分析模型的计算任务；

工作节点，用于向所述管理节点发送自身资源的使用情况；接收所述管理节点分配的任务，进行交通数据的存储和交通分析模型的计算；

网络路由器，用于连接所述管理节点和所述工作节点。

2.根据权利要求1所述的海量交通数据处理系统，其特征在于，所述管理节点包括：

状态监控单元，用于定期采集各个工作节点的资源使用情况，并将所述各个工作节点的资源使用情况信息发送给存储分配管理单元和计算任务分配调度单元；

存储分配管理单元，用于将需进行存储的交通数据进行切分，根据所述状态监控单元发送的所述各个工作节点的资源使用情况信息，向各个工作节点分配交通数据的存储任务；

计算任务分配调度单元，用于根据所述状态监控单元发送的所述各个工作节点的资源使用情况信息，向各个工作节点分配交通分析模型的计算任务，并跟踪各个工作节点的所述计算任务执行情况。

3.根据权利要求1或2所述的海量交通数据处理系统，其特征在于，所述工作节点包括：

资源状态上报单元，用于向所述管理节点上报自身的资源使用情况；

数据存储单元，用于接收所述管理节点分配的交通数据的存储任务，进行交通数据的存储处理；

模型计算单元，用于接收所述管理节点分配的交通分析模型的计算任务，进行交通分析模型的计算处理。

4.一种海量交通数据处理方法，其特征在于，包括：

管理节点获取通过网络与其连接的各个工作节点的资源的使用情况，根据每个工作节点的资源使用情况，向各个工作节点分配交通数据的存储和交通分析模型的计算任务；

工作节点接收所述管理节点分配的所述交通数据的存储和交通分析模型的计算任务，进行所述交通数据的存储和交通分析模型的计算处理。

5.根据权利要求4所述的海量交通数据处理方法，其特征在于，管理节点获取各个工作节点的资源的使用情况包括：

管理节点定期向各个工作节点发送资源使用情况上报请求；

工作节点接收到所述请求后，将自身CPU、内存、磁盘空间的使用情况上报给所述管理节点。

6.根据权利要求4或5所述的海量交通数据处理方法，其特征在于，管理节点根据每个工作节点的资源使用情况，向工作节点分配交通数据的存储任务包括：

管理节点将需进行存储的交通数据进行切分，根据每个工作节点的资源使用情况，向工作节点发送切分后的数据块文件，同时记录下每块数据文件的切分顺序和进行存储的工作节点的位置。

7.根据权利要求6所述的海量交通数据处理方法，其特征在于，所述管理节点将需进行存储的交通数据进行切分，根据每个工作节点的资源使用情况，向工作节点发送切分后的数据块文件包括：

管理节点将需进行存储的城市路链地图划分成多个网格，对各个网格进行编号，再对每个网格内的每条路链进行编号；

管理节点根据每个工作节点的资源使用情况，向工作节点发送切分后的以网格为单位的数据块文件。

8.根据权利要求7所述的海量交通数据处理方法，其特征在于，工作节点进行交通分析模型的计算处理包括：

读取本地存储的路链数据；

利用所述路链数据进行交通分析模型的计算处理，得到计算结果；

将本工作节点得到的所述计算结果进行汇总，得到节点计算结果；

将各个工作节点的节点计算结果进行汇总，得到整个城市的交通状况信息，并输出。

9.根据权利要求4所述的海量交通数据处理方法，其特征在于，所述方法还包括：

所述管理节点还对各个工作节点的工作状态、任务执行情况进行监控。