[发明专利]基于大数据的套牌车分析方法及系统

说明书

技术领域

本发明涉及套牌车分析领域，尤其涉及一种基于大数据的套牌车分析方法及系统。

背景技术

目前套牌车分析这块，由于数据量大，基本都使用了大数据平台。判定方法也有多种，常用的有通过“同一辆车在一定时间的范围内，不可能在两个不同地方都出现过”这个原理。也有在其基础上增加了卡口地点距离的判断，降低同一辆车速度过快，经过两个卡口，或者掉头的情况。

但是现有的套牌车分析方法中都没有对定时任务这块提出设计。现有的套牌车分析方法会存在每次用户查询，都要对原始数据进行分析，导致每次调度的时间太长，无法达到实时或准实时的程度，这对用户的使用性很差。而且对重复性的套牌车查询会再重新执行分析任务，集群的负载压力大，查询速度慢，导致套牌车查询的可靠性低。

因此，有必要设计一种新的基于大数据的套牌车分析方法及系统，以解决上述问题。

发明内容

本发明的目的在于提供一种基于大数据的套牌车分析方法及系统，旨在用于解决现有的套牌车分析方法存在的查询速度慢，无法达到实施程度的问题。

本发明是这样实现的：

本发明提供一种基于大数据的套牌车分析方法，其特征在于，包括以下步骤：

S1：通过ETL工具，将过车数据入库到分布式文件系统；

S2：使用分布式计算框架编写套牌车判定程序，通过周期性的定时任务定期地分析前面一定时间范围内的过车数据得出套牌车数据；

S3：将分析出来的套牌车数据写入数据仓库；

S4：通过业务查询接口，实时查询调用数据仓库的套牌车数据。

进一步地，所述步骤S2中的定时分析任务具体包含以下流程：

S2.1：判断是否到达定时任务时间，若是，则计算分析定时任务的时间范围；若否，则等待到达定时任务时间；

S2.2：进行分布式套牌车逻辑分析，即以在事先确定的判定时间范围内同一车牌出现在不同的卡口为判定条件，初步判定在定时任务的时间范围内出现的套牌车；

S2.3：判断执行步骤S2.2之后有无数据，若有，则进行卡口距离判断，即在初步判定的套牌车中排除所出现的不同卡口的距离小于事先确定的最小判定距离的套牌车；若无，则结束。

进一步地，所述步骤S2.1中定时任务的时间范围为前一个定时任务的周期时间向前增加定时任务的判定时间。

进一步地，所述步骤S2.2中的判定时间为30秒。

进一步地，所述步骤S2.3中的最小判定距离为1公里。

进一步地，所述分布式文件系统为Impala，所述分布式计算框架为Impala；或者所述分布式文件系统为Hive，所述分布式计算框架为Hive；或者所述分布式文件系统为HBase，所述分布式计算框架为MapReduce。

进一步地，所述步骤S2中的定时任务的周期为1小时。

进一步地，所述步骤S4具体包含以下流程：

S4.1：用户界面调用；

S4.2：套牌车Controller；

S4.3：套牌车Service；

S4.4：根据条件生成查询语句；

S4.5：查询套牌车数据仓库；

S4.6：返回结果。

本发明还提供一种基于大数据的套牌车分析系统，其特征在于，包括：分布式系统，其包括分布式文件系统及分布式计算框架，用于将过车数据入库到该系统进行分布式分析；定时任务模块，用于定期地分析前面一定时间范围内的过车数据得出套牌车数据；数据仓库，用于存储分析出来的套牌车数据；业务查询接口模块，用于实时查询调用数据仓库的套牌车数据。

进一步地，所述分布式文件系统为Impala，所述分布式计算框架为Impala；或者所述分布式文件系统为Hive，所述分布式计算框架为Hive；或者所述分布式文件系统为HBase，所述分布式计算框架为MapReduce。

本发明具有以下有益效果：

本发明提供的这种基于大数据的套牌车分析方法及系统，通过周期性的定时任务定期地分析前面一定时间范围内的过车数据得出套牌车数据，将分析好的套牌车数据存放到数据仓库，以后都是对结果的查询，而不是对原始数据的分析，通过业务查询接口直接进行查询调用，使得用户查询的实时性大大提高，查询速度大大加快；而且对重复性的套牌车查询不会再重新执行分析任务，降低的集群的负载压力，大大的提高了并发的套牌车查询调用；由于可以指定出定时任务的周期，从而可以预估每一个定时任务所要分析的数据量，根据当前集群的硬件配置，可以大大的提高套牌车分析的可靠性。

附图说明