[发明专利]基于Linux平台的大数据执行方法、系统、设备及存储介质

说明书

本发明提供了一种基于Linux平台的大数据执行方法、系统、设备及存储介质，所述方法包括步骤：建立多个数据库配置文件，形成配置文件库；建立业务逻辑封装模型；建立业务逻辑执行函数，业务逻辑执行函数具有一参数组，参数组至少包括配置文件参数和业务逻辑字符串参数；获取配置文件参数位置上对应的目标配置文件名，以及业务逻辑字符串参数位置上对应的目标业务逻辑代码；依据目标配置文件名，从配置文件库中获得目标配置文件；依据目标配置文件以及目标业务逻辑代码，执行业务逻辑封装模型，获得数据执行结果；本申请降低了基于ClickHouse数据库的大数据开发复杂度，提高开发效率；且基于Linux平台的shell脚本实现，提高数据访问速度。

技术领域

本发明涉及大数据技术领域，具体地说，涉及一种基于Linux平台的大数据执行方法、系统、设备及存储介质。

背景技术

随着云计算大数据技术的发展，在大数据分析领域，分析型数据库ClickHouse由于其读写速度快、支持功能全面等优点，比如支持类SQL查询、支持支持繁多库函数以及支持数组和嵌套数据结构，所以越来越受到开发人员的欢迎。

但是现有技术中，开发人员在开发ClickHouse数据库相关业务逻辑时，很多业务逻辑代码存在重复开发的情况，这导致数据库平台上存在大量冗余代码，开发效率低下。

并且开发人员调度使用ClickHouse数据库内的大数据时，每个人都需要输入用户名、密码、服务器IP，使用不便。在数据库执行出错之后，只能依赖人工在执行代码中寻找错误信息，排错效率低，不利于快速开发。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种基于Linux平台的大数据执行方法、系统、设备及存储介质，提高ClickHouse数据库相关业务逻辑的开发效率。

为实现上述目的，本发明提供了一种基于Linux平台的大数据执行方法，所述方法包括以下步骤：

建立多个数据库配置文件，形成配置文件库；

建立业务逻辑封装模型；

建立业务逻辑执行函数，所述业务逻辑执行函数具有一参数组，所述参数组至少包括配置文件参数和业务逻辑字符串参数；

获取所述配置文件参数位置上对应的目标配置文件名，以及所述业务逻辑字符串参数位置上对应的目标业务逻辑代码；

依据所述目标配置文件名，从所述配置文件库中获得目标配置文件；

依据所述目标配置文件以及所述目标业务逻辑代码，执行所述业务逻辑封装模型，获得数据执行结果。

优选地，所述依据所述目标配置文件以及所述目标业务逻辑代码，执行所述业务逻辑封装模型，获得数据执行结果，包括：

对所述目标业务逻辑代码中的操作方式进行解析，获得数据表执行请求；所述操作方式包括左连接、右连接以及内连接；

根据数据表执行请求，获取对应的数据表表名和执行字段；

根据所述数据表表名和执行字段，获取与所述执行字段匹配的数据执行结果。

优选地，所述依据所述目标配置文件以及所述目标业务逻辑代码，执行所述业务逻辑封装模型，获得数据执行结果，还包括：

根据数据表执行请求，获取对应的数据过滤条件；

根据所述数据表表名、数据过滤条件和执行字段，获取与所述执行字段以及数据过滤条件匹配的数据执行结果。

优选地，所述业务逻辑封装模型中包含第一读取路径和第二读取路径；

所述依据所述目标配置文件以及所述目标业务逻辑代码，执行所述业务逻辑封装模型，获得数据执行结果，包括：