[发明专利]物联网环境下分布式高并发数据采集与处理方法及系统

说明书

本发明公开了一种物联网环境下分布式高并发数据采集与处理方法及系统，所述方法包括：创建进程引导器ServerBootstrap，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器，构造一个继承自ChannelInboundHandlerAdapter的处理类，添加针对不同协议的处理器Handler，构造主拦截器，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列单元。本发明提供的物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集。

技术领域

本发明涉及大数据下的工业物联网数据采集技术领域，特别是涉及一种物联网环境下分布式高并发数据采集与处理方法及系统。

背景技术

对于大部分制造业企业，测量仪器、作业设备的自动数据采集一直是个令人烦恼的事情，不但工作繁重，同时也无法保证数据的准确性，数据经常滞后；而对于现场的不良产品信息及相关的生产数据，如何实现高效率、简洁、实时的数据采集更是一大难题。

大数据的数据采集是在确定用户目标的基础上，针对该范围内所有的结构化、半结构化和非结构化的数据的采集，采集后对这些数据进行处理，从中分析和挖掘出有价值的信息。在大数据的采集过程中，其面临的挑战主要有两点，其一是异构物联网设备的通信协议以及数据协议呈现多样性；另外随着海量设备接入，数据采集的高并发数会产生性能瓶颈，导致数据积压、连接超时等问题。

发明内容

本发明的目的是提供一种物联网环境下分布式高并发数据采集与处理方法及系统，采用Netty框架，支持大批量数据采集，具有高吞吐量、高并发、低延迟、可扩展、持久性、可靠性、容错性等特点。

为实现上述目的，本发明提供了如下方案：

一种物联网环境下分布式高并发数据采集与处理方法，该方法包括以下步骤：

S1，采集终端设备的数据并发送至物联网网关；

S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：

S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数；

S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；

S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；

S204，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；

S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列；

S3，消息队列接收原始数据和经数据采集模块处理后的数据，并分别存入不同数据库中。

可选的，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数，具体包括：

ServerBootstrap作为数据采集模块的启动辅助类，设置启动相关参数，包括：

a)将bossGroup、workerGroup与进程引导器相关联；