[发明专利]数据处理方法及相关装置

权利要求书

1.一种数据处理方法，其特征在于，应用于服务器，所述方法包括：

获取原始数据，所述原始数据为流数据中的数据，所述原始数据至少包括通过第一数据源中间件获取的第一数据，所述第一数据源中间件所采集数据不支持结构化查询语言SQL；

根据所述原始数据确定适配SQL的目标数据；

通过所述SQL处理所述目标数据，得到处理结果。

2.根据权利要求1所述方法，其特征在于，所述第一数据源中间件为Kafka数据源中间件。

3.根据权利要求1所述方法，其特征在于，所述原始数据还包括通过第二数据源中间件采集的第二数据，所述第二数据源中间件包括以下至少一种：Redis数据源中间件、MySQL数据源中间件、ClickHouse数据源中间件、ElasticSearch数据源中间件。

4.根据权利要求1-3任一项所述方法，其特征在于，所述根据所述原始数据确定适配SQL的目标数据，包括：

将原始数据存入到预设的支持所述SQL的数据表中，得到所述适配SQL的目标数据。

5.根据权利要求4所述方法，其特征在于，在所述将原始数据存入到预设的支持所述SQL的数据表中，得到所述适配SQL的目标数据之前，所述方法还包括：

预先创建业务数据库，所述业务数据库用于接收所述原始数据；

根据所述业务数据库的类型注册所述支持SQL的数据表，所述支持SQL的数据表预先配置有参考字段信息，且所述支持SQL的数据表存储于所述业务数据库中。

6.根据权利要求5所述方法，其特征在于，所述将原始数据存入到预设的支持所述SQL的数据表中，得到所述适配SQL的目标数据，包括：

通过Flink程序对所述原始数据进行数据清洗，得到第三数据；

基于预设解析算法对所述第三数据进行解析，得到参考解析数据，所述参考解析数据包括目标字段信息；

所述参考解析数据根据所述目标字段信息和所述参考字段信息与所述支持SQL的数据表进行字段匹配；

根据所述字段匹配的结果将所述第三数据存入所述支持SQL的数据表中，得到所述适配SQL的目标数据。

7.根据权利要求1所述方法，其特征在于，所述方法还包括：

根据所述处理结果确定作业信息，所述作业信息包括所述业务数据库、所述适配SQL的目标数据以及用于处理所述目标数据得到所述处理结果的SQL；

根据所述作业信息显示作业状态页面，所述作业状态页面包括第一控件和第二控件；

若检测到来自终端设备对所述第一控件的点击操作，则显示所述作业信息的运行日志；

若检测到来自终端设备对所述第二控件的点击操作，则显示所述用于处理所述目标数据得到所述处理结果的SQL。

8.一种数据处理装置，其特征在于，包括：

获取单元，用于获取原始数据，所述原始数据为流数据中的数据，所述原始数据至少包括通过第一数据源中间件获取的第一数据，所述第一数据源中间件所采集数据不支持结构化查询语言SQL；

确定单元，用于根据所述原始数据确定适配SQL的目标数据；

处理单元，用于通过所述SQL处理所述目标数据，得到处理结果。

9.一种服务器设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。