[发明专利]一种基于物联网的数据采集系统及基于该系统的数据压缩方法

说明书

本发明公开了一种基于物联网的数据采集系统及基于该系统的数据压缩方法，涉及物联网和工业数据采集领域，包括现场数据采集单元、现场代理单元、远程通讯网关单元、消息队列集群单元、分布式数据处理单元、云存储中心单元及云监控单元。本发明基于离散解耦的微服务架构，实现了对分散、异构的资源进行整合的同时，能够根据服务的规模进行动态无缝的扩展。同时，本发明创造性地将采集数据划分为了元数据与制造数据，并通过不同的编码算法进行数据压缩，使得不同类型的数据采集需求都可以只依赖于一个远程通讯网关，进而实现统一管理和资源的高效利用。本发明能够实现在数据采集过程中减少网络带宽的同时，兼容不同设备的工业物联网数据采集。

技术领域

本发明涉及工业物联网的数据采集领域，尤其涉及一种基于数据压缩技术的物联网数据采集系统及基于该系统的数据压缩方法。

背景技术

随着物联网技术在工业领域的快速推广，以及感知层传感技术的迅猛发展，诸如“数控一代”工程的数控缝纫机和“智能车间”应用的工业机器人中因需要多维度感知设备运行状态，需嵌入各式各样的传感器。然而，由于各设备生产厂商的通讯协议和数据采集规范各不相同，传统的数据采集系统必须面对“特定厂家、特定设备、特定规范”进行定制，其往往不能很好地兼容不同厂家的设备差异且数据采集效率低下。如何实现一种可解耦通信协议且高效的数据采集系统，已经成为“物联网”和“智能制造”中亟待解决的关键技术问题。

发明内容

本发明的目的在于提供一种可兼容不同的采集设备，且采集效率高的基于数据压缩技术的物联网数据采集系统。

为达成上述目的，本发明采用的技术方案如下：

一种基于物联网的数据采集系统，包括现场数据采集单元、现场代理单元、远程通讯网关单元、消息队列集群单元、分布式数据处理单元、云存储中心单元、云监控单元；

所述的现场数据采集单元与所述的现场代理单元之间，采用工业数据总线进行连接；

所述的现场代理单元与所述的远程通信网关单元，所述的远程通讯网关单元与所述的消息队列集群单元，所述的消息队列集群单元与所述的分布式数据处理单元，所述的分布式数据处理单元与所述的云存储中心单元之间，所述的云监控单元与所述的现场代理单元，所述的云监控与所述的远程通讯网关单元，所述的云监控单元与所述的分布式数据处理单元，采用Internet/Intranet网络进行连接。

所述的现场数据采集单元包括传感器模块、控制器模块、现场总线模块，分别部署在数据采集终端上。

所述的传感器模块按照PLC模块编程定义，实时或定时采集工业生产现场各类传感器所感知的制造数据；

所述的控制器模块，控制传感器模块的采集行为，并将传感器模块的制造数据存储到寄存器中，并通过现场总线模块将寄存器中的制造数据发送到现场代理单元模块，同时，控制器根据现场代理单元模块接收的远程通信网关模块下行的控制指令，可修改控制器模块中对传感器模块的采样频率、上报频率等参数的编程定义；

所述的现场总线模块，是现场数据采集单元与现场代理单元的通信传输线路。

所述的现场代理单元，包括协议适配模块、代理模块，部署在车间临近服务器上。

所述的协议适配模块，通过将个性的制造数据按照分布式数据处理中心定义的数据格式规约转换成通用protobuf(Protocol Buffer，google发布的一种数据交换格式)数据格式，并存储到本地缓存；