[发明专利]大数据查询方法、装置、服务器及存储介质有效
| 申请号: | 201811526906.1 | 申请日: | 2018-12-13 |
| 公开(公告)号: | CN109739878B | 公开(公告)日: | 2020-12-01 |
| 发明(设计)人: | 杨文博 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
| 主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/215 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 |
| 地址: | 100084 北京市海淀区*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 查询 方法 装置 服务器 存储 介质 | ||
1.一种大数据查询方法,其特征在于,包括:
接收用户端自然语言模式的数据查询请求;
根据所述数据查询请求,生成包括数据计算指令集合的数据计算指令树;
根据所述数据计算指令树,将所述数据计算指令树中的数据计算指令分配给对应的计算任务节点进行执行;
获取所述计算任务节点的执行结果,并根据所述数据计算指令树,对所述执行结果进行汇总计算,得到数据查询结果;
将所述数据查询结果返回给所述用户端;
其中,所述根据所述数据查询请求,生成包括数据计算指令集合的数据计算指令树,包括:
将所述数据查询请求转换为结构化查询数据表达语句;
根据所述结构化查询数据表达语句,生成包括数据计算指令集合的数据计算指令树,所述数据计算指令树包括数据依赖关系和计算过程依赖关系;
其中,所述根据所述结构化查询数据表达语句,生成包括数据计算指令集合的数据计算指令树,包括:
根据所述结构化查询数据表达语句和企业数据知识图谱,确定待查询的数据所在的计算任务节点,并确定数据依赖关系和计算过程依赖关系,所述企业数据知识图谱包括企业数据的元数据信息;
根据所述待查询的数据所在的计算任务节点、数据依赖关系和计算过程依赖关系,确定数据计算指令集合,并生成包括所述数据计算指令集合的数据计算指令树;
其中,所述企业数据知识图谱包括业务逻辑层、分析体系层和数据指标层;
所述业务逻辑层包括数据所属的业务组和业务元数据的关系;
所述分析体系层包括分析方法与分析体系定义、分析体系的文本描述及业务解释,以及分析体系的业务关联信息;
所述数据指标层包括数据指标的定义、数据指标的文本描述、数据指标的计算规范,以及数据指标的存储路径、计算时间和历史跨度。
2.根据权利要求1所述的方法,其特征在于,所述将所述数据查询请求转换为结构化查询数据表达语句,包括:
对所述数据查询请求进行文本分词和业务语义标注,得到分词与语义标注结果;
对所述数据查询请求进行上下文分析,以对所述分词与语义标注结果进行业务逻辑补齐,得到业务逻辑补齐结果;
根据所述分词与语义标注结果和所述业务逻辑补齐结果,生成结构化查询数据表达语句。
3.根据权利要求1所述的方法,其特征在于,还包括:
采集企业数据的元数据信息,并根据所述企业数据知识图谱对采集的元数据信息进行整理,将整理后的元数据信息保存到所述企业数据知识图谱中。
4.根据权利要求3所述的方法,其特征在于,所述采集企业数据的元数据信息,并根据所述企业数据知识图谱对采集的元数据信息进行整理,将整理后的元数据信息保存到所述企业数据知识图谱中,包括:
监控和采集企业数据的元数据信息;
根据企业的元数据信息标准,对所述元数据信息进行清洗对齐;
根据清洗对齐后的元数据信息,抽取所述清洗对齐后的元数据信息中的业务逻辑,并将所述业务逻辑保存到所述企业数据知识图谱的业务逻辑层中;
根据所述分析体系定义,确定所述业务逻辑中的分析体系及所述分析体系对应的分类,并将所述分析体系和所述分析体系对应的分类保存到企业数据知识图谱中的分析体系层;
对所述分析体系对应的分类下的数据指标进行抽取对齐,以统一所述数据指标的名称、文本描述和计算规范,并将所述数据指标的名称、文本描述和计算规范保存到企业数据知识图谱的数据指标层中。
5.根据权利要求1所述的方法,其特征在于,根据所述数据计算指令树,将所述数据计算指令树中的数据计算指令分配给对应的计算任务节点进行执行之后,还包括:
通过部署在计算任务节点中的局部数据计算管理模块根据所述数据计算指令获取对应的数据;或者
通过部署在计算任务节点中的局部数据计算管理模块根据所述数据计算指令,对其他计算任务节点获取的数据进行汇总计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811526906.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据库系统和数据管理方法
- 下一篇:查询数据层次的输出方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





