[发明专利]知识数据计算系统、方法、服务器及存储介质在审
| 申请号: | 201711297667.2 | 申请日: | 2017-12-08 |
| 公开(公告)号: | CN107944012A | 公开(公告)日: | 2018-04-20 |
| 发明(设计)人: | 王杰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 北京品源专利代理有限公司11332 | 代理人: | 孟金喆 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 知识 数据 计算 系统 方法 服务器 存储 介质 | ||
1.一种知识数据计算系统,其特征在于,包括:
数据存储模块,用于存储知识数据和知识图谱;
数据计算模块,用于向开发者提供开发数据处理策略的接口,按照所述开发者自定义的数据处理策略对待处理的知识数据进行计算;
知识图谱更新模块,用于根据处理后的数据更新所述数据存储模块中的知识图谱。
2.根据权利要求1所述的系统,其特征在于,所述数据计算模块包括:流式计算子模块和/或批量计算子模块;
所述流式计算子模块,用于向所述开发者提供开发流式处理策略的接口,按照所述开发者自定义的流式处理策略对待处理的流式知识数据进行流式计算;
所述批量计算子模块,用于向所述开发者提供开发批量处理策略的接口,按照所述开发者自定义的批量处理策略对待处理的批量知识数据进行批量计算。
3.根据权利要求2所述的系统,其特征在于,所述流式计算子模块包括:
第一数据获取单元,用于从所述数据存储模块中获取所述待处理的流式知识数据,和/或,接收抓取的所述待处理的流式知识数据;
流式计算单元,用于运行所述流式处理策略的插件,对所述待处理的流式知识数据进行流式计算。
4.根据权利要求2所述的系统,其特征在于,所述批量计算子模块包括:
第二数据获取单元,用于从所述数据存储模块中获取所述待处理的批量知识数据;
批量计算单元,用于按照所述批量处理策略中的作业类型和作业顺序,对所述待处理的批量知识数据进行批量计算。
5.根据权利要求4所述的系统,其特征在于,所述作业类型包括本地作业类型和分布式作业类型;
所述批量计算单元具体用于:
对于本地作业类型,在本地按照所述作业顺序执行各个作业,对所述待处理的批量知识数据进行批量计算;
对于分布式作业类型,将作业转换成分布式作业,将所述分布式作业及所述待处理的批量知识数据发送至分布式集群进行批量计算。
6.根据权利要求1-5中任一所述的系统,其特征在于,所述数据存储模块基于Hbase和Hadoop封装得到。
7.根据权利要求1-5中任一所述的系统,其特征在于,所述系统还包括:
报警接口,用于在所述数据处理策略运行失败的情况下,输出报警信息。
8.根据权利要求1-5中任一所述的系统,其特征在于,所述系统还包括:
可视化平台,用于向所述开发者提供可视化控制和监控的界面。
9.一种知识数据计算方法,基于权利要求1-8中任一所述的知识数据计算系统实现,其特征在于,包括:
获取待处理的知识数据;
在所述待处理的知识数据对应的计算框架下,按照开发者自定义的数据处理策略对所述待处理的知识数据进行计算,其中所述数据处理策略是所述开发者通过预设接口进行自定义;
根据处理后的数据更新数据存储模块中的知识图谱。
10.根据权利要求9所述的方法,其特征在于,在所述待处理的知识数据对应的计算框架下,按照开发者自定义的数据处理策略对所述待处理的知识数据进行计算,包括:
如果所述待处理的知识数据为流式知识数据,运行所述开发者自定义的流式处理策略的插件,对所述流式知识数据进行流式计算;
如果所述待处理的知识数据为批量知识数据,按照所述开发者自定义的批量处理策略对所述批量知识数据进行批量计算。
11.根据权利要求10所述的方法,其特征在于,按照所述开发者自定义的批量处理策略对所述批量知识数据进行批量计算,包括:
获取所述批量处理策略中的作业类型和作业顺序,其中所述作业类型包括本地作业类型和分布式作业类型;
对于本地作业类型,在本地按照所述作业顺序执行各个作业,对所述待处理的批量知识数据进行批量计算;
对于分布式作业类型,将作业转换成分布式作业,将所述分布式作业及所述待处理的批量知识数据发送至分布式集群进行批量计算。
12.根据权利要求9-11中任一所述的方法,其特征在于,在所述待处理的知识数据对应的计算框架下,按照开发者自定义的数据处理策略对所述待处理的知识数据进行计算,包括:
在所述数据处理策略运行失败的情况下,输出报警信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711297667.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





