[发明专利]一种针对结构化数据的并发分布式验证方法在审
申请号: | 201611205083.3 | 申请日: | 2016-12-23 |
公开(公告)号: | CN108241806A | 公开(公告)日: | 2018-07-03 |
发明(设计)人: | 冯蓉;梁斯东;刘双双 | 申请(专利权)人: | 航天星图科技(北京)有限公司 |
主分类号: | G06F21/64 | 分类号: | G06F21/64 |
代理公司: | 北京安博达知识产权代理有限公司 11271 | 代理人: | 徐国文 |
地址: | 101399 北京市顺义区国*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种针对结构化数据的并发分布式验证方法,其将表格数据关系集切分,使其能够以片段的形式在不同的处理节点进行处理,每个处理节点只处理一部分数据,极大地提高了表格数据的处理效率。同时,提供了数据校验功能,保证了数据分布式处理过程中的稳定性及正确性。同时允许用户自定义数据验证方式,最终将验证的结果数据返回给对应的用户。 | ||
搜索关键词: | 分布式验证 结构化数据 表格数据 处理节点 并发 用户自定义数据 数据校验功能 分布式处理 处理效率 结果数据 验证方式 验证 返回 保证 | ||
【主权项】:
1.一种针对结构化数据的并发分布式验证方法,其特征在于,该方法包括:获取数据素材;生成结构化数据关系集,并对所生成的结构化数据关系集按行切分成多个关系子集,其中每个关系子集包括多行结构化数据关系;以及将所述结构化数据送到计算机集群中的每个计算机节点;将对关系子集的处理分配到所述计算机集群中的多个计算机节点进行处理并验证;保存所述多个计算机节点运算处理和验证的状态快照;以及当对任一关系子集的处理和验证中断时,根据所述状态快照恢复中断前的处理状态,以及继续执行中断的处理和验证;将所述多个计算机节点的处理和验证结果保存到与所述计算机集群中的所有计算机节点连接的共享存储器。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于航天星图科技(北京)有限公司,未经航天星图科技(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201611205083.3/,转载请声明来源钻瓜专利网。