[发明专利]一种可视化数据开发方法、装置、设备及介质

说明书

本发明提供一种可视化数据开发方法、装置、设备及介质，所述方法包括：根据预设的数据表建立规范在可视化数据开发界面中建立多个第一数据表，所述多个第一数据表包括可编辑项信息；根据预设的数据表审批规范去除多个第一数据表中的冗余数据表，得到至少一个第二数据表；获取数据同步任务和外部数据，并基于数据同步任务，根据可编辑项信息将外部数据同步到至少一个第二数据表中，得到至少一个第三数据表；对至少一个第三数据表中的数据进行数据加工，得到数据加工结果。本发明通过数据表建立规范和数据表审批规范建立数据表，实现数据开发全流程可管控，调度依赖清晰可查，生产出的数据加工结果血缘明确，减少了中间表和调度流程冗余。

技术领域

本申请涉及大数据分析技术领，具体涉及一种可视化数据开发方法、装置、设备及介质。

背景技术

随着大数据技术的应用，各公司都有专业的数据加工团队。但随着时间的推移与数据的增多等因素，原有的数据加工团队人数增加后，团队中每个人都有自己书写SQL(Structured Query Language，结构化查询语言)或其他程序的习惯、文件名称的命名习惯、项目目录的习惯、数据分层习惯，这将会导致原来系统中的表关联关系及调度依赖逻辑无人能够清晰了解，加大了数据加工迭代难度。且数据加工过程中存在大量冗余的调度任务及中间表，浪费系统计算及存储资源。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种可视化数据开发方法、装置、设备及介质，以解决上述技术问题。

于本发明的一实施例中，提供了一种可视化数据开发方法，所述方法包括：

根据预设的数据表建立规范在可视化数据开发界面中建立多个第一数据表，所述多个第一数据表包括可编辑项信息；

根据预设的数据表审批规范去除所述多个第一数据表中的冗余数据表，得到至少一个第二数据表；

获取数据同步任务和外部数据，并基于所述数据同步任务，根据所述可编辑项信息将所述外部数据同步到所述至少一个第二数据表中，得到至少一个第三数据表；

对所述至少一个第三数据表中的数据进行数据加工，得到数据加工结果。

于本发明的一实施例中，所述根据预设的数据表建立规范在可视化数据开发界面中建立多个第一数据表，包括：

响应于数据开发需求指令，获取用于建立所述多个第一数据表时需要使用的可编辑项信息，根据所述可编辑项信息预设数据表建立规范；

根据预设的数据表建立规范在可视化数据开发界面中建立多个第一数据表。

于本发明的一实施例中，所述基于所述数据同步任务，根据所述可编辑项信息将所述外部数据同步到所述至少一个第二数据表中，得到至少一个第三数据表，包括：

根据预设的数据同步任务审批规范去除冗余的数据同步任务，得到审批后的数据同步任务；

将所述外部数据的数据源与所述至少一个第二数据表进行连接，并根据所述可编辑项信息对外部数据的数据源中的数据表和所述至少一个第二数据表进行字段映射，得到字段映射结果；

响应于所述审批后的数据同步任务，根据所述字段映射结果和预设的数据同步周期与分区字段，将所述外部数据同步到所述至少一个第二数据表中，得到所述至少一个第三数据表。

于本发明的一实施例中，响应于所述审批后的数据同步任务，根据所述字段映射结果和预设的数据同步周期与分区字段，将所述外部数据同步到所述至少一个第二数据表中时，同一数据表中的外部数据只进行一次数据同步操作。

于本发明的一实施例中，所述将所述外部数据的数据源与所述至少一个第二数据表进行连接，并根据所述可编辑项信息对外部数据的数据源中的数据表和所述至少一个第二数据表进行字段映射，得到字段映射结果，包括：