[发明专利]分布式计算系统和方法

说明书

对相关申请的交叉引用

本申请要求在2012年3月21日提交的临时申请号61/613,878的“Distributed Computation Systems and Methods”的优先权，因此通过引用其全部将其并入。

版权授权

本专利文档的公开的一部分包含受版权保护的材料。版权的拥有者由于本专利文献或专利公开在美国专利商标局的专利文件或记录中出现而不反对任何人对其进行复印复制，但是否则不管如何都保留全部版权权利。

背景技术和发明内容

在使用多个自治计算机的分布式计算中，使用诸如MapReduce的各种编程模型来增加处理速度和/或减少计算问题的处理时间。这样的框架可被用于使用大量的计算机或节点跨大数据集合处理并行问题，并且主要被采用来通过利用大量的相对便宜的计算机增加处理能力。诸如MapReduce的分布式计算框架的限制特性是它们通常假设对数据资源的一致的访问（consistent access）。

根据某些实施例，描述了一种分布式计算框架，其可被用于解决其中存在到数据资源的潜在不一致的访问的计算问题，诸如在根据支配它们的访问和/或使用的不同策略控制各种数据资源的情况中。

根据某些实施例，描述了一种用于在具有不同的相关联的规则的分布式数字数据资源上的分布式计算的方法。所述方法包括通过将计算任务分成将由多个分布式工作者节点执行的多个子任务来分布使用多个分布式数字数据资源的计算任务，所述多个分布式工作者节点包括具有到第一数字数据资源的访问的第一工作者节点和具有到第二数字数据资源的访问的第二工作者节点。第一数字数据资源与对应于访问第一数字数据资源（和/或可以对第一数字数据资源操作的计算）的条件的规则的第一集合相关联。类似地，第二数字数据资源与对应于访问第二数字数据资源（和/或可以对第二数字数据资源操作的计算）的条件的规则的第二集合相关联。访问第一和第二数字数据资源的条件可以彼此不同。根据某些实施例，所述方法也包括在多个数字数据资源上执行使用多个工作者节点的多个子任务，所述工作者节点中的每个由此生成部分结果；以及收集并组合该部分结果，由此形成计算任务的最终结果。

根据某些实施例，由在数据资源中的一个或多个利益相关者（stakeholder）至少部分地确定与数据资源相关联的规则，并且（一个或多个）利益相关者后续可以地变更支配它们的访问和使用的规则。根据某些实施例，由实体执行计算任务的分布，所述实体可以具有请求在多个工作者节点处执行计算的能力，但是不具有到由那些工作者节点管理的数据资源的直接访问。在某些情况中，工作者节点仅具有到数据资源中的一个或某些的访问，其可以被定位在地理上分离的位置中，诸如不同的城镇、区域或者国家，其中支配到数据的访问和数据的使用的区域或国家策略可能变化。根据某些实施例，从不由分布实体确定的可能的规则的域选择所述规则。

根据某些实施例，规则与数据资源相关联，支配到数据资源的访问和/或数据资源的其他使用。在其他实施例中，规则也可以（或者替代地）与为了提供数据资源的具体观察（view）而对数据资源操作的计算相关联。所述计算也可以与特定用户或者用户组相关联，以便通过要求在向所述用户或组揭露被包含在数据资源中的信息之前将至少一个计算应用到数字数据资源来限制到被包含在数据资源中的信息的所述用户或组的访问。根据某些实施例，通过创建包括数字数据资源的独特表示和将与该数据资源相关联的计算的独特表示的配对的数字签名的文档来在所述规则和所述计算之间进行关联。例如，在某些实施例中，使用诸如在公布为美国专利公告号2011/0277036（“'501申请”）的共同转让的美国专利申请号12/773,501“Policy Determined Accuracy of Transmitted Information”中描述的那些技术的技术，因此通过引用其全部将所述专利并入。在其他实施例中，使用其他技术。

根据某些实施例，数字数据资源包括存储在医学设施中的医学信息，以及对应于保护病人隐私的访问条件的规则中的至少某些。根据某些实施例，由病人部分地设置所述规则。根据某些实施例，医学信息可以包括染色体组数据、蛋白质组（proteomic）数据、微生物组（microbiomic）数据和/或任何其他类型的组学（*-omic）、医学和/或保健相关的数据中的某些或全部。