[发明专利]物联网环境下分布式高并发数据采集与处理方法及系统

权利要求书

1.一种物联网环境下分布式高并发数据采集与处理方法，其特征在于，包括以下步骤：

S1，采集终端设备的数据并发送至物联网网关；

S2，物联网网关将数据发送给数据采集模块，数据采集模块对数据进行处理，具体包括：

S201，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数；

S202，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置；

S203，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内；

S204，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后；

S205，利用上述步骤所构建的数据接收引导器来绑定进程端口监听硬件设备发送的数据并解析传入消息队列；

S3，消息队列接收原始数据和经数据采集模块处理后的数据，并分别存入不同数据库中。

2.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S201中，创建进程引导器ServerBootstrap，所述ServerBootstrap用于设置数据采集模块启动相关的初始化参数，具体包括：

ServerBootstrap作为数据采集模块的启动辅助类，设置启动相关参数，包括：

a)将bossGroup、workerGroup与进程引导器相关联；

b)设置线程组的通道类型为非阻塞IO通道。

3.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S202中，初始化类型为NioEventLoopGroup的线程组bossGroup和workerGroup，启动类型为Bootstrasp的数据转发器进程引导器并进行相关设置，具体包括：

主线程组bossGroup用于接收客户端的连接请求，当数据采集模块收到连接请求时，从主线程组中随机选择一个线程来处理连接；链路建立成功后，将数据通道注册到工作线程组workerGroup的某个线程上，由它来处理后续的I/O操作。

4.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S203中，构造一个继承自ChannelInboundHandlerAdapter的处理类，根据通信协议格式的不同，添加针对不同协议的处理器Handler，并将其挂接到数据转发器进程的主通道内，具体包括：

处理类重载channelRead方法来实现数据的读取与转发，并且根据不同的协议头来对数据做不同的处理和转发。

5.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S204中，构造主拦截器，用于进行数据处理，主拦截器接收到上一Handler所解析的协议数据段信息，再根据用户自定义的业务逻辑对数据进行解析，将其挂接到数据转发器进程的主通道内，协议处理拦截器之后，具体包括：

用户自定义数据处理规则；

根据接收到的协议数据段提取出标识信息，获取设备标识，查询其对应的数据解析Handler。

6.根据权利要求1所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于，所述S3中，消息队列接收原始数据和经数据处理模块处理后的数据，并分别存入不同数据库中，具体包括：

消息队列采用Kafka，为每个设备唯一性标识建立对应topic，并根据不同topic将数据存入数据库不同表中；所述数据库采用Mysql和Hbase，其中Hbase存储原始历史数据，Mysql存储结构化的基础数据以及解析后的实时数据。

7.一种物联网环境下分布式高并发数据采集与处理系统，应用于权利要求1-6任一所述的物联网环境下分布式高并发数据采集与处理方法，其特征在于包括：

终端设备、物联网网关、数据采集模块、消息队列以及数据库；所述终端设备与物联网网关、所述物联网网关与所述数据采集模块之间双向通信连接，所述数据采集模块用于对终端设备的数据进行处理；所述消息队列用于将原始数据和处理后的数据分发到不同的数据库。