[发明专利]一种一致性模型的创建方法及系统

说明书

本发明实施例涉及一种一致性模型的创建方法及系统，其中，所述方法包括：预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。本申请提供的技术方案，能够更加灵活地调整元数据一致性维护粒度，应对突发高负载模式对分布式文件系统元数据性能影响的问题。

技术领域

本申请涉及数据处理技术领域，特别涉及一种一致性模型的创建方法及系统。

背景技术

一致性维护是元数据分布式管理技术的核心。当前大多数分布式文件系统采用元数据、数据分离架构设计实现，即采用两个服务器集群分别存储元数据、数据。在分布式文件系统中，元数据是指文件路径、状态、操作权限等信息的集合，这些信息存储于一个独立的服务器集群，采用树形语义结构管理。当多个元数据服务器共同管理元数据时，树形结构元数据需要划分为多个子树，每个子树之间存在必然的逻辑关系，即父节点与子节点之间的关系，父节点代表一个文件目录，子节点代表一个文件目录或者一个文件。当一个节点发生变化时，另外一个或者多个节点也需要同步为一致状态。

强一致性对元数据分布式服务性能影响巨大。元数据分布式服务模型很好的为分布式文件系统解决了存储可扩展性问题，但随之而来的问题是高并发负载模式下系统元数据访问性能无法满足可扩展性，此问题是系统为保证元数据状态的强一致性而付出的性能开销过大。

已有相关研究工作以可调一致性机制为基础，提出了各种方法、策略解决强一致性策略对分布式文件系统元数据性能的影响问题，但在一致性维护粒度方面，缺少一种灵活的调整方法和技术。已有工作的一致性维护粒度固定，尤其是在大数据背景下，元数据量大，采用同一策略控制全局元数据一致性的方法缺少灵活性，这类一致性机制不能体现不同类型元数据特点。

发明内容

本申请的目的在于提供一种一致性模型的创建方法及系统，能够更加灵活地调整元数据一致性维护粒度，应对突发高负载模式对分布式文件系统元数据性能影响的问题。

为实现上述目的，本申请提供一种一致性模型的创建方法，所述方法包括：

预先配置一致性模型的前置数据，所述前置数据包括一致性模型的应用对象、一致性模型的控制粒度以及多个一致性模型的偏差参数；

基于所述一致性模型额控制粒度，确定所述多个一致性模型的偏差参数之间的关联关系；

根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型。

进一步地，所述一致性模型的应用对象为元数据本身，并非事务处理过程。

进一步地，所述一致性模型的控制粒度为子树，并非全局树。

进一步地，所述一致性模型的偏差参数包括数值偏差参数、顺序偏差参数以及时间偏差参数。

进一步地，在创建所述一致性模型之前，所述方法还包括：

建立两个假设条件，并基于建立的所述两个假设条件创建所述一致性模型；其中，所述两个假设条件为：

假设每一个元数据项的写入、读取内存的速度相同；

假设所有元数据项的应用价值权重相同。

进一步地，确定所述多个一致性模型的偏差参数之间的关联关系包括：

数值偏差参数用目录下的文件数量表示，顺序偏差程度用上层目录下的目录数量表示，时间偏差参数用本层目录的树深度表示。

进一步地，根据确定的所述关联关系，通过结合主成分分析法和逐步回归法，创建一致性模型包括：