[发明专利]一种基于模型缓存实现的离线仓库实时交互方法与系统

说明书

本发明公开了一种基于模型缓存实现的离线仓库实时交互方法与系统，方法包含以下步骤：捕获页面的交互操作数据并转换为系统可记录的元数据信息；对元数据信息进行拆分并存储得到元数据；对元数据中需要缓存处理的建模类元数据进行数据建模得到缓存建模数据；对需要缓存处理的计算类元数据进行数据计算得到缓存执行结果数据并返回至页面展示；重复执行上述步骤直至得到离线处理信号时执行：对元数据中需要离线处理的建模类元数据进行数据建模得到离线建模数据；对需要离线处理的计算类元数据进行数据计算得到离线执行结果数据并返回至页面展示；系统包含页面交互模块、元数据处理模块、缓存建模模块、缓存计算模块、离线建模模块、离线计算模块。

技术领域

本发明涉及离线仓库实时交互领域，具体涉及一种基于模型缓存实现的离线仓库实时交互方法与系统。

背景技术

随着大数据行业的发展，数据仓库的建设越来越多，人们对数据仓库建设的效率要求在不断提高，从建设时间、建设成本、建设灵活性方面考虑，数据仓库建设方式正在逐步的从传统的纯代码式数据开发，向实时交互式数据开发演变；

实时交互式数据开发是将数据处理的过程进行拆解、简化、封装、可复用，让数据开发过程由之前的编写一套代码，再去运行验证结果的传统方式，变为每一步数据开发动作都可以瞬时获得预览结果，并可以随时调整数据处理的策略、方式或目标的实时交互方式，可以大幅度减少数据开发过程中常见的预期错误、数据返工等现象，提升大数据建设过程中的效率；

目前，市场中的数据仓库多采用hive数据库进行建设，虽然具有分布式计算、平滑扩容、高可用等诸多优点，但它在应对实时交互式数据开发的过程中存在诸多劣势，第一点计算延迟高，hive作为数据仓库的优势更多是可以支撑大数据量的计算而不崩溃，但在同等数据量、同等配置下的计算速率比不过关系型数据库；第二点建表延迟高，hive作为离线型数据仓库，不善于应对频繁的建表、建模类操作，导致其响应延迟高，无法满足实时交互式数据开发过程中的灵活建模要求；第三点资源消耗大，采用传统hive离线仓库支撑实时交互式的数据开发场景时，频繁的预计算和数据变动会导致其在数据资源包括计算耗时、存储占用、集群网络、磁盘IO方面消耗过大；

此外，针对大数据复杂的离线处理场景，如字段级别处理包含重命名、增减字段、更改类型等；对内容的处理，包含字段的增、删、改等多种操作；涉及到多表之间的处理常包含表关联、表合并等操作；整体数据处理过程中，涉及的大数据量表、多字段表、多个关联表等场景下，使用传统的开发方式，更容易造成数据返工的情况，但市面上通用的离线仓库无法满足实时交互式数据开发。

发明内容

本发明要解决的技术问题是现有的传统开发方式，更容易造成数据返工的情况，但市面上通用的离线仓库无法满足实时交互式数据开发，本发明提供一种基于模型缓存实现的离线仓库实时交互方法，本发明还提供一种基于模型缓存实现的离线仓库实时交互系统，能够通过设置缓存建模模块、缓存计算模块、离线建模模块、离线计算模块，并借助并行写入、数据采样处理的技术来保障数据处理过程中页面操作与数据结果之间的实时交互要求，相比与传统数据开发方式具有更高的灵活性、实时性和可控性；同时对于离线处理的数据场景，采用存算分离架构，通过数据建模与数据计算的分离运行，实现海量数据处理下的实时交互反馈与数据执行结果之间的的最终一致性，并具有更低响应延迟，更低资源消耗的优势，可以大幅度提升数据建设的效率，用以解决现有技术导致的缺陷。

为解决上述技术问题本发明提供以下的技术方案：

第一方面，一种基于模型缓存实现的离线仓库实时交互方法，其中，包含以下步骤：

步骤1：捕获页面的交互操作数据并转换为系统可记录的元数据信息；

步骤2：保持最终逻辑一致性对元数据信息进行拆分并存储，得到元数据；

步骤3：对元数据中需要缓存处理的建模类元数据进行数据建模得到缓存建模数据；