[发明专利]一种物联网应用中基于Netty的海量数据接入方法及系统

说明书

本发明属于物联网数据接入技术领域，特别涉及一种物联网应用中基于Netty的海量数据接入方法及系统，方法包括当接入层节点的Netty服务端接收到终端报文后，对报文类型进行识别并以线程无锁化调度存入本地阻塞队列中；阻塞队列专属消费线程从队列拉取报文数据，若报文为核心数据，线程调用负载均衡模块选报文数据进行转发；否则线程通过本地Kafka客户端将报文数据发送到kafka转发专属Topic分区；数据解析层节点的Netty服务端接收到或者从Kafka中拉取到报文数据后，将其转换成结构化数据后发送到Kafka业务专属Topic分区；本发明充分发挥Netty可承接数十万终端通信的优势，实现业务解耦。

技术领域

本发明属于物联网数据接入技术领域，特别涉及一种物联网应用中基于Netty的海量数据接入方法及系统。

背景技术

物联网作为信息产业浪潮中的重要一环，其技术不断进步持续推进物联网产业的飞升，物联网应用正逐步遍及日常生活中各个领域，如物流运输、健康医疗、智能家居、智慧工业、智慧农业等。因此物联网终端的数量正呈爆炸式增长，如何应对终端带来的海量数据接入处理已是物联网应用行业亟待解决的问题。

针对上述问题，现有研究通常使用基于NIO多路复用技术的网络框架来解决大数据量的设备接入问题，其中Netty框架的使用尤为广泛。Netty的Reactor模型是一种基于事件驱动的线程模型，使一个线程就可以处理多个I/O事件，而主从Reactor模型中，主Reactor负责接收终端请求，从Reactor负责处理具体读写业务的设计模式，更是充分发挥多核CPU以及多线程的优势，极大提高并发网络I/O效率。加之Netty便捷的编解码开发等优势，非常适合解决物联网领域海量数据接入问题。

Netty框架的一大特点就是单机即可承接数十万终端连接，但在目前研究中通常在Netty所在的服务节点即处理终端报文上传也做复杂解析等业务处理，侵占了Netty可利用的服务器资源，无法充分发挥Netty优势。同时仅依赖Netty是无法完全应对海量数据接入问题，突发流量数据接入将会压垮下游业务处理节点。现有的一些设计思路是利用Netty做终端连接并将接收到的数据推送到Kafka中，下游业务节点以适当的速度从Kafka中拉取消息进行消费。Kafka是一款消息队列中间件，通常在大数据领域起到异步，削峰，解耦的作用，应用到物联网数据接入领域可以很好的承接上下游服务。同时通过集群化服务部署提高整体性能是一种趋势。

发明内容

为了充分发挥Netty的优势，提升数据接入并发量，本发明提出一种物联网应用中基于Netty的海量数据接入方法，所述方法包括以下步骤：

S0、对物联网数据接入系统进行微服务分层划分，分为数据接入层、数据解析层、业务处理层，并对系统进行集群部署搭建。

S1、当接入层节点的Netty服务端接收到终端报文后，对报文类型进行识别并以线程无锁化调度存入本地阻塞队列中。

S2、阻塞队列专属消费线程从队列拉取报文数据，若报文为核心数据，执行步骤S3；否则执行S4。

S3、线程调用负载均衡模块选中某一解析层节点将所持报文数据进行转发。

S4、线程通过本地Kafka客户端将报文数据发送到kafka转发专属Topic分区。

S5、解析层节点的Netty服务端接收到或者从Kafka中拉取到报文数据后，对其进行解析，转换成结构化数据后发送到Kafka业务专属Topic分区。

S6、业务处理层从Kafka业务Topic分区中拉取结构化数据进行具体业务处理。