[发明专利]基于Flink的实时数据处理方法、平台和设备

权利要求书

1.一种基于Flink的实时数据处理平台，其特征在于，包括：web页面模块、数据库模块、作业处理模块；

所述web页面模块，用于获取实时计算作业的数据源，并将所述数据源进行格式转换，得到数据信息；

所述数据库模块，用于存储所述数据信息；

所述web页面模块，还用于获取作业指令；

所述作业处理模块，用于根据所述作业指令，调用flinkClient服务，对所述数据库模块中存储的数据信息进行作业处理。

2.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述数据源包括：source源文件、sink源文件；

所述web页面模块，具体用于获取实时计算作业的source源文件、sink源文件，并将所述source源文件、sink源文件以json格式进行压缩加密处理，得到所述数据信息。

3.根据权利要求2所述的基于Flink的实时数据处理平台，其特征在于，所述作业处理模块，具体用于根据所述作业指令，获取所述数据库模块中存储的数据信息并进行解密，以进行作业处理。

4.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述作业指令包括：编辑指令、启动指令、查看指令、复制指令和删除指令。

5.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述作业处理模块，还用于通过动态加载类调用flinkClient服务，以实现udf数据处理。

6.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述数据源还包括基础jar文件；

所述作业处理模块，用于基于所述基础jar文件实现FlinkSQL方式的作业处理。

7.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述数据源还包括作业逻辑代码封装的自定义jar文件；其中，所述作业逻辑代码是用户基于预设的封装的自定义框架编写的；

所述作业处理模块，用于基于所述自定义jar文件实现自定义式的作业处理。

8.根据权利要求1所述的基于Flink的实时数据处理平台，其特征在于，所述数据库模块包括：MySQL数据库。

9.一种基于Flink的实时数据处理方法，其特征在于，应用于权利要求1-8任一项所述的基于Flink的实时数据处理平台；

所述方法包括：

获取实时计算作业的数据源，并将所述数据源进行格式转换，得到数据信息；

存储所述数据信息；

获取作业指令；

根据所述作业指令，调用所述数据库模块中存储的数据信息，以进行作业处理。

10.一种基于Flink的实时数据处理设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器相连：

其中，所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储所述程序，所述程序至少用于执行权利要求9所述的基于Flink的实时数据处理方法。