[发明专利]一种针对wifi探针采集的海量数据的去重方法及系统

说明书

本发明属于大数据技术领域，公开了一种针对wifi探针采集的海量数据的去重方法及系统，判断每条数据是新上线或是在线记录；定时从Redis取key2在线记录写入Elasticsearch的轨迹表；从跨天的Kafka topic取出S102写入的跨天数据后，将数据写入跨天Elasticsearch索引，并删除对应的Redis数据，同时删除原来在轨迹索引的记录。本发明提供了一种针对wifi探针采集的海量数据的去重方法，将WIFI探针采集的数据按一定的规则进行去重；本发明针对Wi‑Fi探针采集的海量数据的去重方法，可以为使用者过滤大量的无用数据，可以减少要存储的数据量，避免了读取无用数据，有效提高海量数据的处理。

技术领域

本发明属于大数据技术领域，涉及一种针对wifi探针采集的海量数据的去重方法及系统。

背景技术

Wi-Fi采集数据量较大，目前按照1分钟去重方式，如果一个人在一个采集点驻留2个小时，那么按照此去重方式会产生120条数据，但是对于使用者而言，只要进入的时间和离开的时间就够了，现在在同一条记录上同时保存上线时间和离开时间就只需要保存一条记录。同时规定同一个终端在采集设备上前后被采集到的两条记录的时间差超过30分钟(此时间可以调整，以下分析按30分钟设计)则为重新上线。

综上所述，现有技术存在的问题是：

Wi-Fi采集数据量较大，会采集到大量的重复的数据，造成海量数据的处理效率低下，不能节约使用成本。

解决上述技术问题的难度：

对所有wifi探针采集到的终端进行缓存，然后进行比对，还要考虑大数据的并发性。

解决上述技术问题的意义：

挖掘有效的数据，提高数据的利用率，并且减少数据的储存，节约使用成本。

发明内容

针对现有技术存在的问题，本发明提供了一种针对wifi探针采集的海量数据的去重方法及系统。

本发明是这样实现的，一种针对wifi探针采集的海量数据的去重方法。所述针对wifi探针采集的海量数据的去重方法包括以下步骤：

步骤一，判断每条数据是新上线或是在线记录。

步骤二，定时从Redis取key2在线记录写入Elasticsearch的轨迹表。

步骤三，从跨天的Kafka topic取出S102写入的跨天数据后，将数据写入跨天Elasticsearch索引，并删除对应的Redis数据，同时删除原来在轨迹索引的记录。

进一步，所述步骤一具体包括：

根据数据到Redis获取key1值，判断是否获取到，没有获取到执行点1，有获取到执行点2。

执行点1：没有获取到key1，则是新上线的值，执行以下步骤：

步骤1：将该条数据插入Elasticsearch的轨迹表(实际是写入Kafka，再从Kafka写到Elasticsearch)。

步骤2：插入key1值(采集时间和上线时间都为当前数据的采集时间)。

步骤3：结束。

执行点2：获取到key1，将当前的采集时间和获取到的key1的采集时间相减，判断时间差：

第一种情况：时间差超过30分钟，则为最新的上线数据，执行点1的步骤。

第二种情况：时间差没有超过30分钟，执行以下步骤：

步骤1：更新key1值(采集时间为当前采集时间，上线时间不变)。