[发明专利]基于Flink的实时数据处理方法、平台和设备

说明书

本发明涉及大数据技术领域，具体涉及一种基于Flink的实时数据处理方法、平台和设备。其中，基于Flink的实时数据处理平台包括web页面模块、数据库模块、作业处理模块。web页面模块，用于获取实时计算作业的数据源，并将数据源进行格式转换，得到数据信息；数据库模块，用于存储数据信息；web页面模块，还用于获取作业指令；作业处理模块，用于根据作业指令，调用数据库模块中存储的数据信息，以进行作业处理。本发明通过web页面模块获取实时计算作业的数据源，创建作业流程，配置流程的参数，对作业管理可视化管理，不仅使用简便，而且降低了使用门槛。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于Flink的实时数据处理方法、平台和设备。

背景技术

快递公司每天都要接收、转运、派送大量的快递，在处理快递的过程中，伴随着大量的实时数据产生。需要对实时数据信息及时进行处理，以保证快递业务能够正常运转。

现有的技术方案中，一般为开发人员通过编写代码的方式对kafka数据流进行逻辑计算后再进行存储。但是，这种数据处理的方式非常复杂，而且需要专业的Flink工程师来实现，使用不便。

发明内容

有鉴于此，本发明的目的在于提供一种基于Flink的实时数据处理方法、平台和设备，以克服目前数据处理的方式非常复杂，而且需要专业的Flink工程师来实现，使用不便的问题。

为实现以上目的，本发明采用如下技术方案：

一种基于Flink的实时数据处理平台，包括：web页面模块、数据库模块、作业处理模块；

所述web页面模块，用于获取实时计算作业的数据源，并将所述数据源进行格式转换，得到数据信息；

所述数据库模块，用于存储所述数据信息；

所述web页面模块，还用于获取作业指令；

所述作业处理模块，用于根据所述作业指令，调用flinkClient服务，对所述数据库模块中存储的数据信息进行作业处理。

进一步地，以上所述的基于Flink的实时数据处理平台，所述数据源包括：source源文件、sink源文件；

所述web页面模块，具体用于获取实时计算作业的source源文件、sink源文件，并将所述source源文件、sink源文件以json格式进行压缩加密处理，得到所述数据信息。

进一步地，以上所述的基于Flink的实时数据处理平台，所述作业处理模块，具体用于根据所述作业指令，获取所述数据库模块中存储的数据信息并进行解密，以进行作业处理。

进一步地，以上所述的基于Flink的实时数据处理平台，所述作业指令包括：编辑指令、启动指令、查看指令、复制指令和删除指令。

进一步地，以上所述的基于Flink的实时数据处理平台，所述作业处理模块，还用于通过动态加载类调用flinkClient服务，以实现udf数据处理。

进一步地，以上所述的基于Flink的实时数据处理平台，所述数据源还包括基础jar文件；

所述作业处理模块，用于基于所述基础jar文件实现FlinkSQL方式的作业处理。

进一步地，以上所述的基于Flink的实时数据处理平台，所述数据源还包括作业逻辑代码封装的自定义jar文件；其中，所述作业逻辑代码是用户基于预设的封装的自定义框架编写的；

所述作业处理模块，用于基于所述自定义jar文件实现自定义式的作业处理。

进一步地，以上所述的基于Flink的实时数据处理平台，所述数据库模块包括：MySQL数据库。