[发明专利]一种知识图谱创建方法

权利要求书

1.一种知识图谱创建方法，其特征在于，包括：

基于运行于集群上的分布式文件系统，确定数据集成的数据模型，并通过所述数据模型获取所述集群的数据图表；

根据预设的分布式图处理框架将所述数据图表拆分为子图进行迭代计算，并确定数据集；

在所述数据集中配置数据访问函数和接口，构成知识开放和共享的知识图谱；

所述基于运行于集群上的分布式文件系统，确定数据集成的数据模型，并通过所述数据模型获取储存数据的数据图表，包括：

将所述分布式文件系统上的数据以分块的形式划分多个数据块；其中，

所述分布式文件系统包括命名空间，所述命名空间包括源数据和储存所述数据块的数据块池；

所述数据块为独立的存储单元；

所述集群的主节点和备节点基于所述数据块和预设数据节点的多维有序映射和时间戳索引构成数据动态集成的数据模型；

所述数据模型将储存数据以数据图表的形式进行存储；其中，

所述数据图表有行和列组成，列包括若干列族；

所述列族用于统计磁盘和内存的访问、控制和使用；

所述将所述分布式文件系统上的数据以分块的形式划分多个数据块，包括以下步骤：

步骤1：获取所述预设数据节点的存储量S和预设数据节点个数M，

其中，所述w_i表示第i个预设数据节点的储存量；所述i＝1,2,3,……i；所述β为预设数据节点的空间常数；

步骤2：根据所述预设数据节点的储存量S确定所述预设数据节点的权重值p：

其中，所述p_i表示第i个预设数据节点的权重值；所述y_i表示第i个预设数据节点的存储能力；

步骤3：根据所述预设数据节点的权重值p，计算所述数据块的划分阈值K_i：

其中，所述表示分布式文件系统上预设数据节点的权重值，所述表示分布式文件系统；所述K_i表示第i个预设数据节点的划分所述数据块的阈值；所述第i个预设数据节点每处理K_i量的数据，生成一个数据块。

2.根据权利要求1所述的一种知识图谱创建方法，其特征在于，所述集群包括主节点、共享存储系统和数据节点；其中，

所述主节点包括激活主节点、备用节点和主备切换控制器；其中，

所述主备切换控制器用于控制所述激活主节点和备用节点得到切换；

所述共享存储系统用于存储所述主节点在运行过程中产生的分布式文件系统的元数据；

所述共享存储系统还用于控制所述激活主节点和备用节点的数据同步；

所述数据节点用于向所述激活主节点和备用节点上报数据的位置信息。

3.根据权利要求1所述的一种知识图谱创建方法，其特征在于，所述时间戳在所述数据动态集成写入时自动赋值，使得所述动态集成的数据具有唯一性。

4.根据权利要求1所述的一种知识图谱创建方法，其特征在于，所述分布式文件系统包括：主节点进程，数据节点进程，辅助进程；其中，

所述主节点近程用于管理所述命名空间，并记录所述储存数据分解为数据块的过程和所述数据块储存的数据节点；

所述数据节点近程用于根据需要存储和检索数据块，定期向主节点发送所存储的数据块的列表；

所述辅助进程用于与所述主节点进行通信，定期保存所述分布式文件系统元数据的快照。

5.根据权利要求1所述的一种知识图谱创建方法，其特征在于，所述根据预设的分布式图处理框架将所述数据图表拆分为子图进行迭代计算，并确定数据集，包括：

获取所述数据图表的有向多重图，并确定图形参数；其中，

所述图形参数包括顶点或边缘类型；

根据所述图形参数，通过分布式或并行的方式将所述数据图表拆分为子图，并确定所述子图的顶点；

根据所述子图的顶点，确定所述子图的相邻顶点和所述相邻顶点的属性；

对所述相邻顶点和所述相邻顶点的属性进行迭代计算，确定所述子图的物化数据集。