[发明专利]一种数据处理方法和装置

说明书

本发明公开了一种数据处理方法和装置，涉及大数据技术领域。该方法的一具体实施方式包括：接收业务应用系统发送的数据计算请求；其中，所述数据计算请求携带计算逻辑脚本标识和计算参数；根据所述计算逻辑脚本标识匹配出对应的计算逻辑脚本；在大数据计算框架中运行所述计算逻辑脚本，从而根据所述计算参数得到计算结果；将所述计算结果推送至业务数据库，以使所述业务应用系统在所述业务数据库中查询所述计算结果。该实施方式能够解决浪费计算资源、存储资源和数据更新频率低的技术问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法和装置。

背景技术

以数据为基础的应用，例如数据看板、数据决策或报表类应用系统，其依赖的底层数据全部是由大数据平台事先计算出所有可能在应用系统中使用的全量数据，这些全量数据计算完成后被同步至业务数据库，再由用户指定查询条件，查看指定的数据。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

由于大数据平台每次都计算全量数据，但一段时间内，被用户查询的数据可能只占全量数据的很小一部分，导致浪费算力和存储资源；由于计算全量数据需要比较长的时间，导致系统更新数据频率下降。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法和装置，以解决浪费计算资源、存储资源和数据更新频率低的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括：

接收业务应用系统发送的数据计算请求；其中，所述数据计算请求携带计算逻辑脚本标识和计算参数；

根据所述计算逻辑脚本标识匹配出对应的计算逻辑脚本；

在大数据计算框架中运行所述计算逻辑脚本，从而根据所述计算参数得到计算结果；

将所述计算结果推送至业务数据库，以使所述业务应用系统在所述业务数据库中查询所述计算结果。

可选地，接收业务应用系统发送的数据计算请求之前，还包括：

接收业务应用系统上传的计算逻辑脚本；

生成所述计算逻辑脚本对应的计算逻辑脚本标识，并存储所述计算逻辑脚本与所述计算逻辑脚本标识的对应关系；

将所述计算逻辑脚本标识返回至所述业务应用系统。

可选地，在大数据计算框架中运行所述计算逻辑脚本，从而根据所述计算参数得到计算结果，包括：

将所述计算逻辑脚本、所述计算参数和脚本启动程序打包为一个程序包；其中，所述脚本启动程序为启动计算逻辑脚本的shell命令；

在大数据计算框架中运行所述程序包，从而输出计算结果。

可选地，在大数据计算框架中运行所述程序包，从而输出计算结果，包括：

通过所述脚本启动程序启动所述计算逻辑脚本，并生成计算实例标识；

将所述计算实例标识返回至所述业务应用系统；

在大数据计算框架中基于所述计算参数运行所述计算逻辑脚本，以执行计算任务；

运行结束后输出计算结果。

可选地，生成计算实例标识之后，还包括：

将所述计算参数和所述计算实例标识写入文本文件；

将所述文本文件存放在所述计算逻辑脚本的同一目录下，以供所述计算逻辑脚本读取。

可选地，通过脚本启动程序启动所述计算逻辑脚本之后，还包括：