[发明专利]一种超大规模GPS数据切分方法

说明书

本发明属于GPS空间大数据挖掘技术。本发明以1/256秒经纬差为基本单元，在WGS84坐标平面上，从坐标原点起算，沿坐标轴方向，将整个坐标平面区划为等经纬差格网，取边长等于2^16=65536个基本单元的矩形区域为原始数据切块单位，使得每一个切块内恰好包含65536*65536个基本单元网格，以此达到高存贮效率与高计算效率优化平衡，同时又使切块数量保持在计算机操作系统所允许的文件复杂度之内，并且保证了对全局范围的精确覆盖。

技术领域

本发明属于超大规模GPS空间数据挖掘技术领域，与遥感技术、抽样调查技术、地理信息系统技术、数字图像技术、超级计算技术相关。

本发明系列所生产的数字化道路成果是北斗/GPS大规模应用的基础性数据支撑，与车辆保险、无人汽车、地图测绘、国家海洋战略、国防安全等诸多领域关系极为密切。

本发明所指GPS，是包括中华人民共和国的北斗导航系统在内的所有全球卫星定位系统，并不是特指美国的GPS系统。

背景技术

随着GPS移动终端的大规模普及应用，在全社会范围内迅速地累积起了超大规模的GPS数据。截止2017年中，交通部所属全国联网联控平台和全国公共货运平台，累积接收数据量远超过万亿条，范围覆盖全国所有实际可通行道路及部分国外道路，其中蕴含了丰富的与交通运输相关的信息。

从GPS数据中提取道路交通信息的尝试由来已久，但大多局限于MB级，最多不超过GB级小数据量开展工作，在小数据量情况下，主要考虑的只是算法逻辑方面的问题，一旦数据量达到TB级甚至PB级，受工具软件能力的限制，同样的算法逻辑，在计算机上根本不可能被执行。这时就必须从顶层规划开始，预先将GPS大数据做合理的切分。

按行政区划做数据切分，是一种最容易被想到与使用的数据切分方案，表1即是本发明在前期所采用的一种数据切分方法：

表1 全国GPS数据按行政区划切分简表