[发明专利]一种超大规模GPS数据专用计算机集群任务分配方法

说明书

本发明属于GPS空间大数据挖掘技术领域。本发明公布了一项设计静态/动态处理全国公路运输万亿级GPS动态数据的专用计算集群的核心技术。根据本发明公布的核心技术参数及任务分配方案，可以设计出适合于中华人民共和国境内及其周边的公路的专用超级计算机集群，在确保能够完成静态／动态处理任务的同时，能够最大限度地节省硬件资源。

技术领域

本发明属于超大规模GPS空间大数据挖掘技术领域，与遥感技术、抽样调查技术、地理信息系统技术、数字图像技术、超级计算技术相关。

本发明所生产的数字化道路成果是全球卫星定位系统大规模应用的基础性数据支撑，与车辆保险、无人汽车、地图测绘、国家海洋战略、国防安全等诸多领域关系极为密切。

本发明所指GPS，是包括中华人民共和国的北斗导航系统在内的所有全球卫星定位系统，并不是特指美国的GPS系统。

背景技术

随着GPS移动终端的大规模普及应用，在全社会范围内迅速地累积起了超大规模的GPS数据。截止2017年中，交通部所属全国联网联控平台和全国公共货运平台，累积接收数据量远超过万亿条，范围覆盖全国所有实际可通行道路及部份国外道路，其中蕴含了丰富的道路断面信息，特别是断面安全速度信息。

对于万亿级GPS动态数据的处理，必须采用多CPU、多进程的处理模式。我国国土面积辽阔，地区间道路情况差别巨大，如果简单地按经纬差划分任务，会出现CPU之间负担极不均衡的情况。最终导致整个计算集群无法处理全国级动态数据。因此，根据全国道路实际密度，合理切分任务，成为超大规模GPS数据处理专用计算集群功能设计最为重要的核心技术。

发明内容

在WGS84坐标平面上，从原点起算，沿坐标轴方向，取1/256秒经纬差为基本长度，由基本长度构成的矩形称为基本网格，用基本网格覆盖整个坐标平面，称为基本格网区划。

设L=0,1,…,20，在WGS84坐标平面上，从原点起算，沿坐标轴方向，由边长等于2^L个基本长度所构成的矩形，称为GL级网格，用GL级网格覆盖整个坐标平面，称为GL级格网区划，每一个网格由其行列号唯一定位。

十进制浮点型经纬度点到GL级网格的映射公式为：行列号= INT(921600*浮点型经纬度/2^L)，其中INT()为不四舍五入的取整函数。

根据全国联网联控平台最近两个年度实际的近万亿条GPS动态数据，取L=20，分别统计各G20网格内原始数据个数如下所列，其中X＝INT(921600*浮点型经度/2^20)， Y＝INT(921600*浮点型纬度/2^20)，N为网格内GPS原始数据单位数。