[发明专利]一种基于位置的移动数据存储系统

说明书

本申请涉及一种基于位置的移动数据存储系统及其优化方法，在预设的负载和存储预算的情况下，根据查询范围及存储系统中的原始数据，生成用于查询的多个候选副本，并使用查询成本评估模块对上述多个副本构成的副本集合进行评估，并从中选择出一个成本最低或接近最低的副本集合。该系统用于实现对基于位置的移动大数据分布式存储系统的宽查询范围性能的优化，并在此基础上提出了贪婪算法及线性规划舍入算法进一步对存储系统的性能进行进一步的发掘。

技术领域

本发明涉及移动通信领域，具体涉及了一种基于位置的移动数据存储系统。

背景技术

随着数据采集能力的发展，通过数以亿计的电子设备，例如手机、平板电脑、车载GPS导航及多种类型的传感器，采集人或物的巨量位置的移动数据变得更加简单。但是，存储这些位置的移动数据带来了两个挑战：1)怎么有效的处理大量的地理位置移动数据的查询；2)如何降低存储服务的成本。

位置移动数据通常具有三个共同点:

1.所有的数据都具有三个核心属性：目标ID、时间戳和位置信息；

2.这些数据库的查询通常在通过特定的空间范围和时间范围信息进行查询；

3.在处理空间-时间范围查询时，特别当查询到的结果特别多时即宽查询范围时，主流的大数据存储和管理系统不适合存储和处理这些位置移动数据。因为，这些系统不能根据时间和空间的临近性物理地聚类记录，这会导致主流系统触发非常多的低效率的随机读取。

为了解决随机读取多的问题，TrajStore和PIST通过根据时间-空间代理来共同定位数据，并使用相对较大的分区，但TrajStore和PIST不是采用分布式构架的系统，都不能扩展为TB量级；CloST和SpatialHadoop是两个基于Hadoop的系统，旨在提供可扩展的分布式存储和并行查询处理的大型基于位置的移动数据系统；SATO是一个空间数据分区框架，可以快速分析和分区空间数据，并能够提供一个大小可变的查询处理的最有空间分区策略。

BLOT系统，是一种系统级的抽象，表示那些用于存储基于位置的大型移动数据的专用存储系统。上述的TrajStore、PIST、CloSTridium、SpatialHadoop和SATO都可以视为BLOT系统的具体例子。附图1展示了BLOT系统中的管理数据和查询数据的过程。

在BLOT系统中存储了大量的基于位置的移动数据，每条记录都以下面的格式进行存储：(OID，TIME，LOC，A₁，……，A_m)。其中：OID为目标ID，TIME为时间戳，LOC是目标ID在某个时间点上所处的位置，A₁……A_m是根据数据库应用场景变化的通用属性。我们将前三个属性成为核心属性，其他属性称为公共属性。

BLOT系统通过核心属性将大数据集分割成相对较小的分区。例如，在TrajStore和CloST中，记录先按照位置(LOC)进行分区，之后再按照时间进行分区。同一分区中的记录一起被存储在一个存储单元中，该存储单元为顺序读取进行了优化。通常，存储单元大于一个磁盘页的，从数百KB到及兆字节。在BLOT系统中，记录通常是按顺序访问的，因此可以有效的处理较宽的时间-空间的范围查询；存储单元的数量走狗小，这样我们可以方便的维护分区索引。

数据分区可以存储任何格式的记录，通常将每个分区都存储为CSV文件，每行指定一个记录。该格式虽然易于处理，但存储利用率很低。对于大型数据集，尤其是使用云存储时，使用上述方法的成本较高。为了减小存储的大小，BLOT系统使用各种压缩技术对分区中的记录进行编码：1)使用二进制格式代替文本格式；2)应用通用的压缩算法对整个分区进行压缩；2)以列方式管理数据，然后应用列向编码方案(如增量编码和运行长度编码)。