[发明专利]一种WIFI终端设备轨迹数据的实时分析和去重方法及系统

说明书

本发明属于数据处理技术领域，公开了一种WIFI终端设备轨迹数据的实时分析和去重方法及系统，首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中；其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。本发明可过滤掉上线、下线期间的在线重复数据，大大减少在线记录数据量，解决了WIFI终端设备在线数据量太大的问题，同时减少了冗余数据噪声，增加了数据的业务可分析能力。

技术领域

本发明属于数据处理技术领域，尤其涉及一种WIFI终端设备轨迹数据的实时分析和去重方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

WIFI终端设备数据是由安装在不同采集点的采集设备通过WIFI无线信号实时采集到的终端(如手机)设备实时信息。一条完整的终端记录主要包含了终端信息，终端连接到的接入点信息和虚拟身份信息等。随着采集点位的增加，WIFI终端设备轨迹数据呈现爆发式增长，而采集的每个设备的信息太多不仅增加了服务器的数据存储和查询压力，并且由于太多的噪声数据不能直接获得终端设备的上线和下线信息从而影响了其他业务功能的分析，需要通过一种有效的去重方式来获得没有冗余的设备活动信息以提升业务功能分析能力。

综上所述，现有技术存在的问题是：

(1)WIFI终端设备轨迹数据量太大，影响了服务器的存储和系统的查询效率。

(2)WIFI终端设备轨迹冗余噪声数据太多，影响了数据的业务可分析能力。

(3)现有的技术直接与硬盘交互，并且一次处理一条数据，效率极低，导致kafka数据堆积太多，造成数据滞后。

解决上述技术问题的难度：

本发明不仅需要能够准确的过滤掉多余的数据，并且需要保证数据的实时性。

解决上述技术问题的意义：

本发明解决了对WIFI终端设备轨迹数据的去重，解决了WIFI终端设备轨迹数据量太大、冗余噪声数据太多的问题，同时保证了数据处理的实时性。

发明内容

针对现有技术存在的问题，本发明提供了一种WIFI终端设备轨迹数据的实时分析和去重方法及系统。

本发明是这样实现的，一种WIFI终端设备轨迹数据的实时分析和去重方法，所述WIFI终端设备轨迹数据的实时分析和去重方法包括：

首先，实时接收从分布式消息中间件服务kafka消费的数据，并将实时数据缓存到Redis内存数据库中。

其次，通过实时分析数据的采集时间计算该终端设备的当前记录与上一条该设备的记录的时间差，从而判断当前记录是否属于重新上线的记录，以此获得终端设备的上线时间记录，并更新下线时间记录。

进一步，所述WIFI终端设备轨迹数据的实时分析和去重方法具体包括以下步骤：

步骤一，在Redis内存数据库存储两种key，通过流式计算任务实时从kafka获取wifi终端轨迹数据。

步骤二，对获取的每一条数据，根据数据到Redis获取key1值，通过获得的key1值是否为空判断是否获取到，若没有获取到则可判断该条数据为设备新上线的轨迹数据，并执行步骤三。若有获取到则执行步骤四。