[发明专利]一种基于HBase的智能交通领域卡口数据存储方法

说明书

技术领域

本发明属于智能交通领域，具体涉及一种基于HBase的智能交通领域卡口数据存储方法。

背景技术

随着交通工具的大力普及与各种交通设施的巨增，交通系统所面临的数据压力也成几何倍数的增长。面对如此海量的数据压力，Hadoop作为大数据处理领域的首选技术框架，在企业中得到了大量的应用。而其中的HBase以高性能高吞吐量的特性成为了大数据存储的首选技术目标。那么如何有效地利用HBase的特性，充分发挥其集群性能，实现数据的高效检索。HBase是将数据按照表、行和列进行存储，其数据类型只有字符串，而要想访问其中的数据，只有单个Rowkey访问、通过Rowkey的Range访问、通过全表扫描Rowkey这3种方式，它不支持条件查询和Orderby等查询。

同时，由于HBase是分布式数据库，采用LSM设计解决了磁盘随机写的问题(即使用了顺序写盘的方式)。在高并发的数据写入时会按照Rowkey分配相应的Region，若Rowkey本身存在时间或其他的顺序则会出现单台机器繁忙而其他服务器相对空闲的情况，从而影响集群整体性能。因此，对于Rowkey还需要进行散列化设计，以避免热点现象。

发明内容

为了解决目前智能交通行业海量卡口数据的高性能并发读写要求，本发明提供一种基于HBase的智能交通领域卡口数据存储方法。此方法结合HBase自身的特点，融合卡口数据的读写场景，对表进行定制化Rowkey设计，以便于相关业务的快速高效查询，使得查询结果能全局按时间倒序排列，为数据的进一步统计分析及研判奠定良好的基础。

本发明的技术解决方案：

一种基于HBase的智能交通领域卡口数据存储方法，其特殊之处在于：包括以下步骤：

1】建立主表：

根据业务需要，将卡口数据的主要字段按一定顺序组合成主表Rowkey，并按照主表Rowkey的编码顺序存储；列族中的特定列存储为所有字段组合成的JSON格式串；

2】建立二次索引表：

将主表中查询性能低的字段或不支持查询的字段组合成索引Rowkey，并按照索引Rowkey的编码顺序存储，同时在索引Rowkey前加哈希散列，列族中的列存储为主表Rowkey。

上述卡口数据包括设备编号、方向编码、车道号、号牌号码、号牌颜色、号牌种类、车辆速度、经过时间、车身颜色、车辆分类、车辆类型、车辆品牌和过车图片地址，

在主表Rowkey中将号牌号码和设备编号前置。

上述二次索引表的索引Rowkey中包括号牌颜色。

本发明所具有的优点：

1、本发明能够有效的提高海量数据访问和查询性能，并能够良好的围绕号牌号码而展开的相关数据挖掘提供高性能保障，如套牌分析、区域碰撞、车辆频度、落脚点分析等数据研判功能。同时能够较分散的插入数据，显著提高HBase的Region的并行性能，支持Rowkey级别的设备编号查询、支持时间段、号牌颜色的快速查询；查询结果自动以时间倒序排列，满足查看最近记录的要求；能够良好的支持按时间段获取卡口数据，为卡口数据的快速统计分析建立良好的基础。

2、应用本发明的存储方法在业务展示卡口列表时只需要获取Rowkey即可，在节省网络数据传输量和提高速度的同时，极大的提升了系统性能；

3、通过测试发现，实验室5台服务器搭建的集群下，利用此设计方式存储的10亿数据，精确查询平均响应时间160毫秒，多条件模糊查询平均响应时间300毫秒。在55亿数据的环境下，精确查询平均响应时间162毫秒，多条件模糊查询平均响应时间1028毫秒。

附图说明

图1为本发明主表Rowkey设计示意图；

图2为本发明索引表Rowkey设计示意图；

图3为本发明主表数据逻辑示意图；

图4为本发明索引表数据逻辑示意图。

具体实施方式

在智能交通领域，面对海量的卡口数据，将HBase里的卡口表分为主表和二次索引表。

主表存储卡口数据，主要包括设备编号、方向编码、车道号、号牌号码、号牌颜色、号牌种类、车辆速度、经过时间、车身颜色、车辆分类、车辆类型、车辆品牌和过车图片地址等数据。为了支持号牌号码的快速高效查询，以及众多的数据研判业务的需要，在主表的Rowkey设计上需要将号牌号码和设备编号前置，Rowkey后面的信息则以具体的业务来判断，原则上将需要进行相关查询的字段都应该加上。