[发明专利]千万级物联网场景的数据采集及弱推送方法

说明书

针对千万数量级以上的大规模物联网，如智慧城市路灯控制、智能农场喷洒系统等有大规模接入需求且无需保证秒级实时控制的场景，提出了千万级物联网场景的数据采集及弱推送方法，是一个高性能的物联网接入架构与实现方法，为大规模的物联网设备接入，实现大规模物联网场景的节点数据上报、千万数量级的节点接收服务器端的消息推送。本发明采用UDP与LRU缓存实现的弱推送方式，在绝大多数情况下能达到比TCP更高的实时性能，没有命中时也能通过节点定时激活更新LRU列表并推送消息。另外，本发明的确认重传方式也保证了数据上传的可靠性。

技术领域

本发明涉及物联网领域，具体涉及应用到物联网接入平台、数据采集、消息推送、智慧城市、智慧农场的领域。

背景技术

本发明方法涉及UDP、HTTP、消息队列、弱推送与LRU缓存等内容。即通过HTTP验证获取接入服务器，用UDP与接入服务器通信，客户端负责数据采集上报与接收服务器消息推送，处理结果通过HTTP上报服务器。本发明的弱推送方式比传统的维持长连接方式，虽然不能保证秒级的实时性(0.3s～60s)，但提供了更高的性能，极大降低了成本，适用于城市路灯控制、农场喷洒等有大规模接入需求且无需秒级实时控制的场景。

与本发明最相近的方法有CN103227840A孙琦等人提出的一个面向物联网的高并发高可用数据采集系统。该发明中，传感器设备采集数据以后,向数据侦听集群控制器模块请求分配数据侦听服务器，数据侦听集群控制器模块监控数据侦听服务器集群模块的运行状态，数据侦听集群控制器模块将可用的数据侦听服务器分配给传感器设备，传感器设备在分配的数据侦听服务器中选择一个数据侦听服务器；传感器设备将数据并行推送给数据侦听服务器集群模块，若发送失败，传感器设备将再次向数据侦听集群控制器模块请求分配新的数据侦听服务器。数据侦听服务器在成功接收数据以后，将数据转发到数据存储模块。该发明解决了传感器将数据发送到上级节点时发送失败的情况，考虑了负载均衡，提高了实时性。但不具备服务器到节点设备的消息推送功能。

相比上述的方法，本发明重在于提供高性能的服务，为大规模的物联网设备接入，实现大规模物联网场景的节点数据上报、千万数量级的节点接收服务器端的消息推送。

发明内容

目前的物联网接入平台一般是采用基于tcp长连接的mqtt协议，适用于实时性要求较高的物联网场景如智能家居等，而对于大规模城市路灯、大规模农场等只需较弱的实时性(几秒至分钟级延迟)的场景，维持长连接的代价相对过大，因此，本发明采用了基于UDP的通信方式，实现弱推送功能，在满足上诉场景需求的情况下，极大提高了服务并发能力。

图1是该方法的客户端流程框图。主要包括获取接入服务器、定时上报数据、接收推送、确认重传、上报处理结果五个步骤。

通过获取接入服务器的步骤来实现登录验证、负载均衡功能；UDP服务器对接收到的数据包采用批量验证的方式，降低数据库连接池获取频率，减少锁竞争，大大提高性能；服务器端维护一个LRU算法的列表用于缓存udp地址，若有消息需要推送，则查找地址并发送，若不存在，则把消息保存在nosql数据库中，当节点定时上报时，立刻读出消息推送给节点；每个上报的数据包都带有序号，当序号不是递增1时，则推送确认重传报文，节点收到后从确认序号开始重传；节点处理完消息后，处理结果通过http上报至服务器。

附图说明

图1客户端流程框图；

图2整体架构图；

图3 UDP服务器功能流程图；

图4详细架构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述

一、登录服务器