[发明专利]一种基于模型缓存实现的离线仓库实时交互方法与系统

权利要求书

1.一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，包含以下步骤：

步骤1：捕获页面的交互操作数据并转换为系统可记录的元数据信息；

步骤2：保持最终逻辑一致性对元数据信息进行拆分并存储，得到元数据；

步骤3：对元数据中需要缓存处理的建模类元数据进行数据建模得到缓存建模数据；

步骤4：基于缓存建模数据对需要缓存处理的计算类元数据进行数据计算得到缓存执行结果数据，并返回至页面展示；

步骤5：重复执行步骤1-4，当捕获到页面的交互操作数据中存在离线处理信号时执行步骤6；

步骤6：对元数据中需要离线处理的建模类元数据进行数据建模得到离线建模数据；

步骤7：基于离线建模数据对需要离线处理的计算类元数据进行数据计算得到离线执行结果数据，并返回至页面展示。

2.如权利要求1所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，步骤1中所述页面交互操作数据包含页面代码开发、点击数据处理功能按钮操作；

步骤1中的所述数据处理策略包含缓存处理执行策略、离线处理执行策略；

步骤2中所述元数据包含建模类元数据、计算类元数据；

步骤3中需要缓存处理的所述建模类元数据通过具有快速建模特性的数据库进行数据建模得到所述缓存建模数据；

步骤4中对需要缓存处理的计算类元数据进行数据计算的方法包含随机采样、数据摘要、关键段提取、离散抽样中的任一种；

步骤6中所述离线建模数据还需进行业务对照处理、语法分析处理、质保测试处理后与所述缓存建模数据保持结果一致；

步骤7中对需要离线处理的计算类元数据进行数据计算的方法包含使用Tez计算框架或MapReduce计算框架或Storm计算框架或Spark计算框架进行批数据的计算处理。

3.如权利要求2所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，所述页面代码开发包含python计算机编程语言、php计算机编程语言、R计算机编程语言、JavaScript计算机编程语言、shell计算机编程语言、sql结构化查询语言、java计算机编程语言、golang计算机编程语言的代码块或脚本、二进制文件；

所述点击数据处理功能按钮操作按照场景区分包含数据输入、数据探查、数据清洗、数据映射、数据加工、数据脱敏、数据加密、数据输出的操作；

按照功能区分包含创建表、清空表、删除表、增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列、字段内容处理、表级处理、表间处理的操作；

所述建模类元数据信息包含创建表、清空表、删除表、改动表结构操作；

所述计算类元数据信息包含字段内容处理操作、表级处理操作、表间处理操作。

4.如权利要求3所述的一种基于模型缓存实现的离线仓库实时交互方法，其特征在于，所述改动表结构操作包含对已存在的表结构进行增加字段列、删除字段列，修改字段列名称、修改字段列类型、修改字段列注释、修改主键字段列、修改索引字段列、修改分区字段列；

所述字段内容处理操作包含添加缺省值、替换指定内容、字段内容拼接、字段内容运算、截取指定位置内容、指定内容添加文字、删减指定内容、合并字段内容、分裂字段内容；

所述表级处理操作包括过滤、聚合、分组、筛选、限制；

所述表间处理操作包括多表关联、交叉连接、多表合并、多表间值运算。