[发明专利]基于redis的过车数据去重方法

说明书

本申请公开了一种基于redis的过车数据去重方法，方法包括解析过车图片结果的json字符串，得到过车数据列表，所述过车数据列表中包括主体车数据、非主体车数据、无车牌机动车数据和非机动车数据的至少一种混合数据；设置逻辑变量，逻辑变量为给当前过车数据是过车数据列表最后一条数据时判断使用；对过车数据进行处理。本发明将过车数据存放到redis中进行缓存，没有数据处理的瓶颈。本发明将主体车数据和非主体车数据对应的键以不同的标识在redis中进行存储，防止过期数据丢失。本发明通过逻辑判断保证主体车数据不会被过滤掉。本发明中每张图片都确保会保留至少一条最优数据。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于redis的过车数据去重方法。

背景技术

现有的公共交通道路中，一条路或者一个路口有多个卡口和电警，每个设备拍摄的图片经解析后的车辆数据中主体车最多有一个。现实中，一辆车同一时间间隔如2分钟内会被设备拍摄多张照片，甚至同一秒钟会被拍摄多次，而每张照片经解析之后又有很多辆过车数据，这样就造成了重复数据过多。因此，过车数据去重就显得尤为重要，但如何保留所有有效数据并且去除重复数据，其中包括但不限于优先保存主体车(每张图片的主要车辆信息)以及保证每张图片都至少有一张最优数据已成为本技术最大难点，此外，还需要考虑性能问题，处理太慢会严重影响后续业务。

现有技术以及常规思路是将这些过车数据存到java的Map中或者保存到数据库中，而且根据的是消费时间而不是拍摄时间去重，并且不考虑数据是不是主体车数据，只考虑车牌号、路口以及缓存时间，这将带来的如下问题：

1、如果一张图片有主体车和非主体车，如果非主体车的数据比主体车的数据先经过去重程序，则可能将非主体车数据保存下来，而主体车数据被删掉，此种情况很显然应该优先保存主体车；

2、单纯依靠车牌和路口以及保存的时间来去重，可能会丢失很多原本应该保存下来的数据，比如第一张图片有车牌A，保存下来了，第二张图片有车牌A以及一些无牌的数据，第二张图片一条数据也不保存，此种情况很显然应该每张图片至少保留一条最优过车数据；

3、单纯依靠车牌和路口以及保存的时间来去重，可能会造成去除原本应该保存的过车数据，比如2分钟之内来了两条过车数据，他们车牌和路口一样，但是拍摄时间相差大于2分钟，但是因为缓存的时间在2分钟之内，所以被删掉，此种情况很显然两条都应该都保存。

发明内容

本发明公开了一种基于redis的过车数据去重方法，方法包括步骤：

解析过车图片结果的json字符串，得到过车数据列表，所述过车数据列表中包括主体车数据、非主体车数据、无车牌机动车数据和非机动车数据的至少一种混合数据；

设置逻辑变量，所述逻辑变量为给当前过车数据是所述过车数据列表最后一条数据时判断使用，其中，所述变量包括：所述过车数据是否有当即保存的主体车或带车牌的非主体车布尔型变量A，设置为false表示没有；带车牌的非主体车对象C；是否有无车牌有车型的数据保存的布尔型变量B，设置为false表示没有；所述过车数据最后一条无车牌无车型的机动车的json字符串L；其中，A为sendFlag，B为noPlateButInfoFlag，C为carnoVsd，L为lastNoPlateNoCarInfoVehicleModelJson；

对所述过车数据进行处理，处理流程具体为：

遍历所述过车数据列表；

当前过车数据为非机动车数据时，执行非机动车数据处理流程，并判断所述当前过车数据是否为所述过车数据列表的最后一条；

当前过车数据为无车牌的机动车数据时，执行无车牌的机动车数据处理流程，并判断所述当前过车数据是否为所述过车数据列表的最后一条；