[发明专利]一种基于可视化配置的数据采集方法和装置

说明书

本发明属于数据可视化技术领域，具体涉及一种基于可视化配置的数据采集方法和装置，该方法包括：采集数据源基本信息；将数据源基本信息进行可视化展示，得到可视化页面，其中，可视化页面中的页面元素被配置为允许以拖拽方式选择；根据被选择的页面元素，生成第一查询语句；对第一查询语句进行优化，得到第二查询语句；对第二查询语句进行转写，得到最终查询语句，以使用户端根据最终查询语句从各个数据库中调用数据。本申请提供的技术方案，不仅降低了SQL的使用门槛，可以对用户录入的SQL语句进行自动改写，实现一次编写，多处执行；还实现了对SQL自动优化，提高了优化效率。

技术领域

本发明属于数据可视化技术领域，具体涉及一种基于可视化配置的数据采集方法和装置。

背景技术

SQL是结构化查询语言(Structured Query Language)的简称，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。

一般通过编写符合特定数据库规范的SQL语句获取数据信息。SQL编写成功后，若需要再次使用SQL时，需从本地加载，存在丢失风险，其他使用者想使用时存在困难。而且，因使用者的SQL技术存在差异，需人工进行SQL优化，效率较低。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于可视化配置的数据采集方法和装置，以解决现有技术中再次使用SQL时，需从本地加载，存在丢失风险的问题。

根据本申请实施例的第一方面，提供一种基于可视化配置的数据采集方法，所述方法包括：

采集数据源基本信息；

将所述数据源基本信息进行可视化展示，得到可视化页面，其中，所述可视化页面中的页面元素被配置为允许以拖拽方式选择；

根据被选择的页面元素，生成第一查询语句；

对所述第一查询语句进行优化，得到第二查询语句；

对所述第二查询语句进行转写，得到最终查询语句，以使用户端根据所述最终查询语句从各个数据库中调用数据。

优选的，所述数据源基本信息包括：数据库版本、数据库类型和数据库的连接串；

所述页面元素包括：名称、字段、注释、运算符、内容、函数和分组。

优选的，所述根据被选择的页面元素，生成第一查询语句，包括：

基于SQL语法规范，将被选择的页面元素对应的字符串进行拼接，生成第一查询语句，并将所述第一查询语句发送至用户端，以使用户端对所述第一查询语句进行验证；

当接收到用户端反馈的第一查询语句验证通过的信息后，将所述第一查询语句进行保存。

优选的，所述对所述第一查询语句进行优化，得到第二查询语句，包括：

基于SQL语法规范，利用Calcite工具对所述第一查询语句进行优化，得到第二查询语句。

优选的，所述对所述第二查询语句进行转写，得到最终查询语句，包括：

根据所述数据源基本信息中的数据库版本和数据库类型，确定目标数据库；

利用Calcite工具，从预先设置的数据库的语法规则中获取所述目标数据库对应的语法规则，以及根据所述目标数据库对应的语法规则，将所述第二查询语句转写成SQL语句；

转写成SQL语句的第二查询语句为所述最终查询语句。

根据本申请实施例的第二方面，提供一种基于可视化配置的数据采集装置，所述装置包括：

采集模块，用于采集数据源基本信息；