[发明专利]一种数据中台、数据处理方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据中台、数据处理方法、装置、设备及存储介质，所述数据中台包括多个数据仓库和多个所述数据仓库共用的中间层，其中：所述中间层，用于接收客户端发送的数据处理请求，确定所述数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用所述目标结构化查询语言模板方法执行所述数据处理请求，并根据执行结果生成响应信号进行响应。本发明实施例提供的数据中台通过将中间层中的应用程序编程接口替换为与之对应的结构化查询语言模板方法，使得中间层的数据处理指令可适用于不同版本的数据仓库，实现了使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据中台、数据处理方法、装置、设备及存储介质。

背景技术

随着互联网技术的不断发展，数据量的不断增多，数据中台的应用越来越广泛。数据中台基于大数据技术，对海量数据进行采集、加工存储，可以突破信息孤岛，提升企业内部各个部门间的合作。Hadoop作为大数据生态圈里最重要的一环，基于Hadoop所衍生出来的产品，已经覆盖了大数据细分的各个领域。HIVE作为HADOOP生态链里的重要一环，其依托于HDFS存储，构建了清晰的元数据MetaStore，早已成为市场上最主流的数据仓库产品。而各大厂商的数据中台解决方案，也正是基于HIVE来构建数据中台的数据仓库。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：在构建数据中台时，各个业务部门往往都已经自建Hadoop集群，因此各个业务部门底层也存在多种版本的HIVE。由于底层的HIVE版本不同，一种解决方案是开发不同版本的数据中台；而另一种解决方案则是构建中央数据仓库然后迁移数据。上述两种方案不仅存在安全风险，还提升了整个系统的运维难度。

发明内容

本发明实施例提供了一种数据中台、数据处理方法、装置、设备及存储介质，以实现使用同一中间层适配不同版本的数据仓库，降低数据中台的运维难度。

第一方面，本发明实施例提供了一种数据中台，包括多个数据仓库和多个数据仓库共用的中间层，其中：

中间层，用于接收客户端发送的数据处理请求，确定数据处理请求中携带的控件标识关联的目标结构化查询语言模板方法，并调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。

第二方面，本发明实施例还提供了一种数据处理方法，由本发明任意实施例所提供的数据中台中的中间层执行，包括：

接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；

获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；

调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。

第三方面，本发明实施例还提供了一种数据处理装置，配置于本发明任意实施例所提供的数据中台中的中间层，包括：

请求接收模块，用于接收客户端发送的数据处理请求，其中，数据处理请求是客户端在检测到控件的点击操作后触发的；

目标模板方法模块，用于获取数据处理请求中携带的控件标识，确定控件标识关联的目标结构化查询语言模板方法；

请求响应模块，用于调用目标结构化查询语言模板方法执行数据处理请求，并根据执行结果生成响应信号进行响应。

第四方面，本发明实施例还提供了一种计算机设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的数据处理方法。