[发明专利]一种流数据处理方法、系统、装置及计算机可读存储介质

权利要求书

1.一种流数据处理方法，其特征在于，应用于Flink框架，包括：

从消息型队列中获取流数据；

利用预设的数据解析规则解析所述流数据，得到各键值对事件，并为各所述键值对事件增加类型信息，得到各Schema信息；

接收输入的SQL流指令，并利用数据分析引擎按所述SQL流指令对各所述Schema信息进行分析，得到分析结果；

通过第一预设路径输出所述分析结果；

其中，所述SQL流指令中的各指令基于类SQL语法编写得到，所述类SQL语法为遵循ANSISQL标准的SQL语法；所述数据分析引擎包括统计分析引擎、正则匹配引擎、机器学习引擎、数据预处理引擎中的至少一项。

2.根据权利要求1所述的流数据处理方法，其特征在于，在从消息型队列中获取流数据之前，还包括：

利用Kafka以主题的方式处理初始流数据，得到所述流数据；

对应的，从消息型队列中获取流数据，具体为：

从所述Kafka中获取所述流数据。

3.根据权利要求1所述的流数据处理方法，其特征在于，接收输入的SQL流指令，包括：

利用QueryService通过Restful API接收用户输入的SQL流指令。

4.根据权利要求1所述的流数据处理方法，其特征在于，通过第一预设路径输出所述分析结果，包括：

将所述分析结果输出至ElasticSearch，以利用所述ElasticSearch解析所述分析结果中包含的数据文档，并通过第二预设路径发送携带有所述数据文档的分析报告或告警信息。

5.一种流数据处理系统，其特征在于，应用于Flink框架，包括：

流数据获取单元，用于从消息型队列中获取流数据；

事件解析单元，用于利用预设的数据解析规则解析所述流数据，得到各键值对事件，并为各所述键值对事件增加类型信息，得到各Schema信息；

指令接收及分析单元，用于接收输入的SQL流指令，并利用数据分析引擎按所述SQL流指令对各所述Schema信息进行分析，得到分析结果；

分析结果输出单元，用于通过第一预设路径输出所述分析结果。

6.根据权利要求5所述的流数据处理系统，其特征在于，还包括：

Kafka处理单元，用于利用Kafka以主题的方式处理初始流数据，得到所述流数据；

对应的，所述流数据获取单元具体为：从所述Kafka中获取所述流数据。

7.根据权利要求6所述的流数据处理系统，其特征在于，所述分析结果输出单元包括：

ElasticSearch子单元，用于将所述分析结果输出至ElasticSearch，以利用所述ElasticSearch解析所述分析结果中包含的数据文档，并通过第二预设路径发送携带有所述数据文档的分析报告或告警信息。

8.一种流数据处理装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的流数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的流数据处理方法的步骤。