[发明专利]一种卡口车辆通行数据的分布式存储方法及系统

权利要求书

1.一种卡口车辆通行数据的分布式存储方法，其特征在于，该方法包括下列顺序的步骤：

（1）配置计算节点和数据节点服务器，搭建并行计算集群环境，安装与集群环境版本匹配的数据访问中间件； 

（2）按照需要采集的车辆特征建立表结构，在表结构中选取至少两个特征作为主键，由主键组成一条卡口数据信息；

（3）对主键和常用查询字段建立分布式可变索引，再针对车牌号建立分布式检索索引；

（4）接入待存储的各个卡口的过车信息数据源；

（5）用户以包含索引的字段进行查询，系统在100ms之内返回相应数据。

2.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：设定定时任务，自动统计前一天各个卡口的过车数据总量。

3.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：将车牌号、通过时间、卡口编号这三个特征作为主键，由车牌号、通过时间和卡口编号共同组成一条能被用户查询到的卡口数据信息，卡口数据信息格式为：车牌号+通过时间取反+卡口编号。

4.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：所述分布式可变索引随着新的卡口数据的插入而自动更新索引数据，数据通过LSM树的数据结构存储在分布式数据库内，LSM树的数据结构为：通过时间取反+卡口编号+车牌号。

5.根据权利要求1所述的卡口车辆通行数据的分布式存储方法，其特征在于：用户输入一个车牌号的其中任意一段连续字符，便可通过分布式索引文件的查询返回相似度最高的前20个车牌号；返回车牌号之后，系统再根据相似度最高的车牌号列表进行全字段的匹配查询；车牌号的分布式索引存储在大数据集群中的分布式文件系统中。

6.一种卡口车辆通行数据的分布式存储系统，其特征在于：包括大数据集群，大数据集群通过网线分别与用户终端、卡口服务器和交换机相连，卡口数据源通过交换机接入系统，其中：

大数据集群，提供大数据平台计算服务和海量数据存储服务；

用户终端，用户用来访问整个卡口系统和其中大数据服务应用；

卡口服务器，是卡口业务系统存放的主机，经过编译的卡口业务系统打包上传到卡口服务器上，然后卡口服务器对外发布卡口服务；

卡口数据源，是卡口业务系统和大数据平台需要记录的摄像头卡口抓拍的数据；

交换机，用于在局域网内不同服务器和主机终端交换数据、搭建局域网。

7.根据权利要求6所述的卡口车辆通行数据的分布式存储系统，其特征在于：所述大数据集群由1个计算节点、1个备份计算节点和N个数据节点组成，计算节点、备份计算节点和数据节点之间通过网线连接，其中，计算节点，用于处理卡口过车信息中需要运算，和选择分配任务决策运算处理；

备份计算节点，保证集群的高可用；

数据节点，用于存储海量过车信息数据。

8.根据权利要求6所述的卡口车辆通行数据的分布式存储系统，其特征在于：所述大数据集群运行在Linux内核的服务器，计算节点、备份计算节点和数据节点使用Hadoop分布式计算框架，采用HDFS的分布式文件系统，利用MapReduce算法实现“分而治之”的计算模型，所有数据通过Phoenix中间件存储在HBase数据库内，整个Hadoop框架内的计算转发、监控和策略决定都由ZooKeeper管理。