[发明专利]一种基于流式计算的无线射频数据筛选装置及方法

说明书

本发明公开了一种基于流式计算的无线射频数据筛选装置及方法，包括消息队列kafka单元、数据源spout单元、逻辑处理bolt单元和缓存管理redis单元；消息队列kafka单元接收并存储无线射频数据；数据源spout单元监听、拉取消息队列kafka单元中当前写入的数据并进行解析；逻辑处理bolt单元接收解析后的数据，查询缓存管理redis单元中与接收数据相匹配的数据，根据预先设定的处理逻辑进行特定正负时间段内的匹配筛选，并将匹配筛选后的数据存入缓存管理redis单元中；缓存管理redis单元接收逻辑处理bolt单元的查询信息并返回结果，并用于存储当前时间点无法匹配的数据；本发明提高了无线射频海量数据并发下数据筛选的效率问题，缩短了传统处理模式上数据等待的时间，提高了数据处理的时效性。

技术领域

本发明属于大数据流式计算技术领域，更具体地，涉及一种基于流式计算的无线射频数据筛选装置及方法。

背景技术

物联网是继计算机、互联网和移动通信之后的又一次信息产业革命，物联网是在计算机互联网的基础上，利用射频自动识别、无线数据通信等技术，构造一个覆盖世界上万事万物的“Internet of Things”，而实现这种物联的核心技术就是无线射频技术。近年来，随着物联网技术的飞速发展，无线射频技术和设备的大量应用，如城市级别的汽车卡口通行追踪、物品物流跟踪等，随之而来的日常无线射频数据已经达到TB级别，无线射频数据的增长，使得实时处理成为当面需要面临的首要挑战。

目前，大部分处理方式都是采用的数据集群，其中数据处理主要以MapReduce为主，通过调用Map函数和Reduce函数对数据进行处理。然而MapReduce对数据处理时的实时性和时效性较差，因此急需一种能够对海量数据进行处理和匹配筛选的方法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于流式计算的无线射频数据筛选装置及方法，通过对接收的无线射频数据进行实时监听、拉取和发射，对无线射频数据流进行特定正负时间段内的匹配筛选，提高了无线射频海量数据并发下数据筛选的效率问题，缩短了传统处理模式上数据等待的时间，提高了数据处理的时效性。

为实现上述目的，按照本发明的一个方面，提供了一种基于流式计算的无线射频数据筛选装置，包括消息队列kafka单元、数据源spout单元、逻辑处理bolt单元和缓存管理redis单元；

所述消息队列kafka单元用于接收并存储无线射频数据；

所述数据源spout单元用于监听、拉取消息队列kafka单元中当前写入的数据并进行解析，并将解析后的数据发射到逻辑处理bolt单元；

所述逻辑处理bolt单元用于接收解析后的数据，查询并获取缓存管理redis单元中可与当前接收的数据相匹配的历史数据，根据预先设定的处理逻辑对当前接收的数据和所述历史数据进行特定正负时间段内的匹配筛选，并将匹配成功的当前数据和历史数据持久化；将未匹配成功的当前数据写入缓存管理redis单元；并用于监听缓存管理redis单元中的数据失效事件，剔除超时失效数据；

所述缓存管理redis单元用于接收逻辑处理bolt单元的查询信息并返回结果，并用于缓存当前时间点无法匹配的数据。

优选的，上述基于流式计算的无线射频数据筛选装置，所述可匹配的历史数据的射频标签码和当前接收数据的射频标签码之间具有自定义的关联筛选逻辑；

当所述历史数据的射频标签码在缓存管理redis单元中特定负时间段内存在签到记录，逻辑处理bolt单元将历史数据从缓存管理Redis单元剔除并将其与当前接收的数据持久化；

当所述历史数据的射频标签码在缓存管理redis单元中特定负时间段内无签到记录，逻辑处理bolt单元将当前接收的数据存入缓存管理redis单元中，并设置当前接收数据在特定正时间段的缓存失效时间。