[发明专利]基于全局区间误差的学习型时空索引方法、装置及介质

说明书

本发明公开了一种基于全局区间误差的学习型时空索引方法、装置及介质。该索引方法分为索引模型构建与基于索引模型的范围检索两大流程，是一种多向学习型时空索引。索引模型构建时需要对重复数据进行聚合，然后将数据转化为均匀分布，再对索引模型进行训练；基于索引模型的范围检索时，需要将检索范围转化至均匀分布数据空间，再对各个维度独立进行位置分布范围检索，最后将各个维度的位置分布范围交叉比对，确定最终的多维检索返回结果。该索引方法相较于常用时空树形索引具有更优的时空范围检索性能，特别是索引模型构建流程中的重复数据聚合操作与数据空间转换操作，对于其优越性起到了有效地提升作用。

技术领域

本发明涉及大数据技术领域，尤其涉及一种地理时空大数据高性能存储领域中时空索引和数据检索方法。

背景技术

常见单节点时空索引分为基于空间划分的格网索引与数据驱动的树状索引两种类型。

格网状索引按照预定规则划分整体空间区域形成格网体系，每个格网单元被赋予唯一编号，将时空对象与格网坐标一一对应实现数据索引，是最早的一类空间索引。格网索引实现方式简单，且查询效率较高，但是会造成极大的数据冗余，无法直接应用于大规模时空数据的场景，且当数据的时空分布不平衡时，每个格网单元内部的时空对象数量差异大，导致检索效率不均衡。

基于不同的空间划分方式将数据根据不同的规则聚合在树索引的不同层级的节点中即可以实现不同的树状结构索引，其中应用较广的有K-D树、R树、R+树，R*树等。K-D树的平衡性使其检索效率相较于四叉树更高效且更稳定，但是当数据维度较大时，K-D树的分支会随之增多，数据检索路径倍级增长，极大限制了树索引效率。R树以及R树变种的检索效率与数据总量呈负相关，索引存储大小与数据总量呈强正相关的问题一直没有得到有效解决，因此，在海量时空数据场景下以及现实中高维时空数据对象的随机分布等各方面原因，这些索引在各方面都具有性能限制，无法很好地发挥有效作用。

传统的单节点索引方案的空间代价过高且每次查询需要多次间接搜索，难以满足大体量的时空数据索引与分析，各类并行框架下的时空数据索引方案成为了值得探索的研究方向。在地理流大数据时代背景下，随着数据量不断增长，传统时空索引技术通过并行化方式使得更多的内存资源及计算资源可以被同时使用于索引的构建与检索过程以满足索引持久化的内存容量需要以及检索效率需求，但其缺陷也日益突出，主要有两点：1）索引存储空间代价过高，2）索引层级深，导致传统索引无法有效适应不断增长的时空数据存储。因此如何实现海量时空数据的高效索引，是目前亟待解决的技术问题。

发明内容

本发明的目的是克服现有索引技术在海量时空数据场景下，索引结构复杂，查询效率不足的问题，提供一种基于全局区间误差的学习型时空索引方法、装置及介质。

本发明具体采用的技术方案如下：

第一方面，本发明提供了一种基于全局区间误差的学习型时空索引方法，它的步骤如下：

S1、针对待建立时空索引的时空点数据，分别对经度、纬度和时间三个坐标维度下的坐标值进行重复数据的聚合并按序排列，每一个坐标维度均得到一条坐标值无重复的单调有序序列；

S2、利用分位数转换分别将每一个坐标维度下的单调有序序列映射到均匀分布数据空间，得到每一个坐标维度下的均匀分布序列；

S3、针对每一个坐标维度，分别以该坐标维度下的均匀分布序列全量数据作为训练数据，通过训练全连接神经网络模型得到该坐标维度对应的索引模型，用于根据该坐标维度下的坐标值预测其在该坐标维度下的均匀分布序列中所处的位置；且全连接神经网络模型通过最小化总损失函数进行训练，总损失函数为均方误差损失和全局误差范围损失的加权和，所述全局误差范围损失为训练数据中所有训练样本对应的模型输出误差中最大值和最小值之差；