[发明专利]通用的实时更新多维数据可视化系统及方法有效
申请号: | 201910656237.8 | 申请日: | 2019-07-19 |
公开(公告)号: | CN110457331B | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 鄂海红;孔慧慧;刘云峰;宋美娜;欧中洪 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/28;G06F16/26;G06F16/27;G06F16/248;G06F3/0486 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 王艳斌 |
地址: | 100876 北京市海淀区西*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 通用 实时 更新 多维 数据 可视化 系统 方法 | ||
1.一种通用的实时更新多维数据可视化系统,其特征在于,包括:
数据源管理模块,用于接入不同领域的多维数据到多维数据分析平台中,并在成功导入数据后,对数据进行预处理;
Cube构建和存储模块,用于对预处理后的数据通过Kylin将数据字段划分成维度与度量,构建Cube,并利用MOLAP操作对数据进行Cube预计算,并且将构建的Cube存储在HBase中,其中,所述Cube构建和存储模块进一步用于:根据Cube定义的事实表以及维度表,并利用Hive创建一张宽表;抽取所述事实表上的维度的distinct值,将所述事实表上的维度以字典树方式压缩编码成目录,将所述维度表以字典树的方式编码;利用MapReduce从宽表文件作为输入,创建N-Dimension cuboid,每次根据前一步的结果串行生成Cuboid数据量;根据所述Cuboid数据量计算HTable的Region分割策略,创建HTable,并导入HFile;
实时可视化模块,用于在接收到用户指令后,使所述用户在所述HBase中读取待分析的Cube立方体,并通过拖拽其中的维度与度量生成交互图表,保存所述交互图表放置到数据看板中,并将所述数据看板信息存储在数据库中,其中,如果所述多维数据发生变化,则通过WebSocket将数据变化信息推送到相应图表中,完成数据跟图表的同步更新。
2.根据权利要求1所述的系统,其特征在于,所述数据源管理模块,进一步用于:
使用已有工作表进行关联合并,将所述已有工作表中目标字段进行数据聚合,将所述已有工作表中目标字段进行数据追加,将所述已有工作表中目标字段进行字段合并,以生成新的工作表;
对所述多维数据进行绝对值、0~1缩放和取整变换;
对原始数据去除重复值、忽略字段、填充空值、数据分段、条件筛选、记录排序、添加记录、文本合并、字符提取和数值运算操作,以将所述原始数据逐步处理成符合用户需求的文件数据。
3.根据权利要求1所述的系统,其特征在于,所述实时可视化模块包括:
数据可视化单元,用于将所述用户查询到的数据可视化成相应的图表;
实时看板单元,用于通过拖拽操作将所述图表自由拖拽到画布中任意位置。
4.根据权利要求3所述的系统,其特征在于,所述数据可视化单元还用于根据用户的配置操作对图表进行颜色、标签、标题以及坐标轴的修改,且提供对图表进行上卷下钻和切片切块的交互操作,并对图表进行多样化设置。
5.根据权利要求3所述的系统,其特征在于,所述实时看板单元还用于根据所述用户选择的主题配置画布,并对所述画布中的图表进行样式配置,并设置图表之间的联动性,生成可视化大屏,且在多维数据发生变化时,通过WebSocket完成数据跟图表的同步更新,其中,WebSocket通过TCP套接字建立双向连接通道,创建完成后,通过握手协议实现与服务器端的实时验证,验证成功后,接收所述服务器推送的数据变化信息,并将数据变化信息推送到相应图表中,完成数据跟图表的同步更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910656237.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种时序数据管理平台
- 下一篇:一种信息处理方法及相关设备