[发明专利]一种海量GPS数据存储的方法及装置

说明书

技术领域

本申请涉及数据处理技术领域，特别涉及一种海量GPS数据存储的方法及装置。

背景技术

随着科学技术的发展和车辆的普及，GPS在生活中应用越来越广泛，GPS导航设备逐渐成为汽车行业很重要的一款设备，可以准确定位车辆位置。

同时，整个系统接入的GPS设备数量众多，GPS按照设定的周期上报行车轨迹、上下线、通用应答等数据，为提高定位的准确性，设定的周期非常短，进而产生海量GPS数据，存储海量GPS数据成为困难。

目前，将海量GPS数据存储在Hadoop(能够对大量数据进行分布式处理的软件框架)和HBase(开源的非关系型分布式数据库)组成的系统中。

但是，在高并发场景下，无法实时监控上报的业务数据类型，上报进度及图形化展示统计指标，一旦服务异常或者因升级需要重启服务，会导致部分数据丢失。

发明内容

本申请的目的在于，提供一种海量GPS数据存储的方法及装置，以解决上述技术的问题，具体方案包括：

一方面，本发明实施例提供了一种海量GPS数据存储的方法，包括：

接收上报的GPS数据；

依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；

消费者线程读取所述队列数据，将所述队列数据持久化。

优选地，在所述接收上报的GPS数据之前还包括:

通讯服务解析808协议。

优选地，所述依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据具体包括：

依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；

若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。

优选地，在所述接收上报的GPS数据之后还包括：

更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。

另一方面，本发明实施例提供了一种海量GPS数据存储的装置，包括：

数据接收模块，用于接收上报的GPS数据；

队列数据生成模块，用于依据预设的阻塞队列阈值和写入队列的条件，将所述GPS数据写入队列，生成队列数据，同时在内存数据库中记录所述GPS数据的业务类型和数据总数；

队列数据持久化模块，用于消费者线程读取所述队列数据，将所述队列数据持久化。

优选地，所述装置还包括，协议解析模块，用于通讯服务解析808协议。

优选地，队列数据生成模块，具体用于依据预设的阻塞队列阈值，判断当前阻塞队列数量是否小于所述预设的阻塞队列阈值，若小于，将所述GPS数据写入队列，生成队列数据；若大于等于，则判断阻塞队列是否满足写入队列条件；若满足，则将所述GPS数据写入队列，生成队列数据。

优选地，所述装置还包括：更新模块，用于更新数据采集进度表，在所述数据采集进度表中标记增加一条数据。

与现有技术相比，本发明实施例提供的一种海量GPS数据存储的方法及装置，包括以下优点：

通过本发明提供的一种海量GPS数据存储的方法及装置，可以在正常采集GPS数据的同时，实时查询GPS数据的采集进度，并且完成对GPS数据的容灾处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种海量GPS数据存储的方法的流程示意图；

图2为本发明实施例二提供的一种海量GPS数据存储的方法的流程示意图；

图3为本发明实施例三提供的一种海量GPS数据存储的装置的结构示意图；

图4为本发明实施例四提供的一种海量GPS数据存储的装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一