[发明专利]一种面向物联网传统SQL开发人员的流式计算方法

说明书

本发明公开一种面向物联网传统SQL开发人员的流式计算方法，涉及大数据与物联网技术领域，通过类SQL的形式表述流式计算需求，通过SQL的形式设定规则，对消息数据筛选、变型、转发；用大数据相关技术具象化该需求，使用的大数据技术为Spark Structured Streaming；并启动任务对相应需求进行实现，通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务。本发明面向传统SQL开发人员简化了流式计算，提供一个符合SparkSQL标准的SQL命令，即可提交流式分析任务，步骤尤为简单，实用性很强，应用场景很广泛，满足物联网环境下大部分的需求。

技术领域

本发明涉及大数据与物联网技术领域，具体的说是一种面向物联网传统SQL开发人员的流式计算方法。

背景技术

物联网生态系统中的设备产生了急剧增长的海量数据，且具有迫切的分析需求。在这个领域的解决方案将有非常大的潜力可以挖掘，比那些要花很长时间才能实现的项目能更快地获得投资回报。大数据分析应用在广泛发展，许多行业都可以通过它进行行业资源的优化。目前，大数据分析中现有技术包括：Spark流式处理组件、Storm实时流处理、Flink、NiFi等。大数据生态圈内Spark的发展势头迅猛，基于内存计算而生的Spark志在取代Hadoop成为新一代大数据基石服务，因此应用最为广泛，体系最为健全。

但是,目前物联网对数据的分析和潜在价值挖掘的能力还没有凸显。传统数据分析：大量的结构化或非结构化数据写入关系型数据库，在此之前要进行数据清洗、转化，以及数据库的初始化设置，过程繁琐；同时随着物联网时代的到来，海量数据已经是单点数据库无法承受的痛点，因此传统的数据分析已不能满足物联网时代的数据量要求。

使用最新大数据生态服务：使用大数据组件的分布式架构解决了海量数据的问题，在数据量激增的情况下提升了处理速度。但是大数据生态发展迅猛，开发人员面对的生态组件多种多样，每一类学习成本都相对很高。同时，传统的写SQL的形式已经完全弃用，需要开发人员自己开发Jar包进行测试启动流式任务，学习成本很高，难于上手和推广。

综上可见，在大数据与物联网相结合的阶段，传统的SQL数据分析开发人员存在无法适应新的大数据开发技术，或者在应用迁移等过程中出现学习成本过高的问题，因此，为了简化大数据流式计算的开发过程，同时对传统SQL开发人员有一个良好的过度时期，急切的需要一种新的技术来解决上述技术问题，此发明应运而生。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种面向物联网传统SQL开发人员的流式计算方法。

本发明所述一种面向物联网传统SQL开发人员的流式计算方法，解决上述技术问题采用的技术方案如下：所述面向物联网传统SQL开发人员的流式计算方法，通过类SQL的形式表述流式计算需求，用户通过SQL的形式设定规则，对消息数据筛选、变型、转发；

同时用大数据相关技术具象化该需求，使用的大数据技术为Spark StructuredStreaming；

并启动任务对相应需求进行实现，通过读取MQTT协议消息，使用组件自带SQL解析引擎启动流式任务；

实现流程包括：从source端接收消息，在Spark流引擎中处理逻辑，结果输出到sink端。

具体的，所述从source端接收消息：

用户输入数据来源，对复杂字符串进行编码处理，然后传入Spark处理逻辑。

具体的，所述数据来源包括mqtt协议输入端访问地址、mqtt消息主题、消息处理结果输出地址、以及用于消息变形转换的SQL命令，

具体的，所述在Spark流引擎中处理逻辑：