[发明专利]一种基于DataX的物联网边缘数据采集网关及其实现方法

说明书

本发明公开一种基于DataX的物联网边缘数据采集网关及其实现方法，涉及物联网应用技术领域，其实现内容包括：其基于开源数据同步工具DataX的Framework+plugin架构，编写适配各类物联网设备接入协议的DataX Reader插件，编写适配不同协议数据源的DataX Writer插件；将两个插件在DataX中打包发布；将DataX部署在物联网设备边缘侧；将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对接入数据的处理；启动DataXJob，通过Task及TaskGoup并行机制进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。本发明可以满足物联网数据融入业务应用的数据接入需求。

技术领域

本发明涉及物联网应用技术领域，具体的说是一种基于DataX的物联网边缘数据采集网关及其实现方法。

背景技术

物联网在工业、农业、交通、能源、智慧城市等各个领域被广泛应用，并由此产生了大量的物联网数据。

如何能够便捷的采集各类不同协议的物联网设备数据，以及将物联网数据接入不同数据应用，同时与组织内其他数据深度融合，以挖掘数据潜在价值，成为“万物互联”时代首要解决的问题。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于DataX的物联网边缘数据采集网关及其实现方法。

首先，本发明的一种基于DataX的物联网边缘数据采集网关，解决上述技术问题采用的技术方案如下：

一种基于DataX的物联网边缘数据采集网关，其基于开源数据同步工具DataX的Framework+plugin架构，包括：

扩展模块，用于对DataX Reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对DataX Writer插件进行扩展编写，以适配不同协议的数据源；

打包发布模块，用于将编写完成的DataX Reader插件和DataX Writer插件在DataX中打包发布；

部署模块，用于将DataX部署在物联网设备边缘侧；

协议组合模块，用于将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；

定义模块，用于在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataXTransformer，实现对边缘侧接入数据的处理；

启动模块，用于启动DataX Job，DataX Job通过Task及TaskGoup并行机制，进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。

可选的，所涉及扩展模块扩展编写DataX Reader插件和DataX Writer插件的过程中，同时实现Job和Task两个内部抽象类，在Task类的startRead方法中实现将物联网设备接入数据写入DataX Reader插件和DataX Writer插件之间的Framework。

可选的，所涉及打包发布模块在plugin.json文件中定义DataX Reader插件和DataX Writer插件，使用assembly将定义后的DataX Reader插件和DataX Writer插件在DataX中打包发布。

可选的，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。