[发明专利]数据处理环境中的虚拟节点的增强数据存储

说明书

本文中描述了用以增强计算环境中的虚拟节点的管理的系统、方法和软件。在一个示例中，方法包括：针对在第一主机上执行的虚拟节点的第一版本标识转换事件；标识第二主机以支持虚拟节点的第二版本；以及启动虚拟节点的第二版本在第二主机上的执行。在一些实现中，虚拟节点包括执行主机上的非持久部分和第二存储元件上的持久部分。

背景技术

正在开发越来越多的数据密集型分布式应用来满足各种需求，诸如处理通常无法由单个计算机处理的非常大的数据集。取而代之，采用计算机集群来分发各种任务，诸如组织和访问数据以及关于该数据执行相关操作。已经开发了各种大型处理应用和框架来与这样的大型数据集交互，包括Hive、HBase、Hadoop、Spark等。

同时，虚拟化技术已经变得普及并且现在在数据中心和其他计算环境中变得普遍，其中提高使用计算资源的效率是有用的。在虚拟化环境中，一个或多个虚拟节点在底层物理计算机上实例化，并且共享底层计算机的资源。相应地，不是按主机计算系统实现单个节点，而是可以在主机上部署多个节点以更有效地使用计算系统的处理资源。这些虚拟节点可能包括完整的操作系统虚拟机、容器(诸如Linux容器或Docker容器)、监牢或其他类似类型的虚拟包含节点。然而，尽管虚拟化技术在计算环境内提供了提高的效率，但是在向个体虚拟节点分配资源时常常会出现困难。附加地，当由于设备故障、软件更新或一些其他迁移或转换事件而需要在主机之间迁移虚拟节点时，会出现困难。

发明内容

本文中描述的技术增强了计算环境中的虚拟节点的管理。在一个实现中，方法包括：针对在第一主机上执行的虚拟节点的第一版本标识转换事件，其中虚拟节点的第一版本包括第一主机上的非持久存储和第二存储元件上的持久存储。该方法还包括：响应于转换事件，针对多个主机中的虚拟节点的第二版本标识第二主机。一旦第二主机被标识，该方法还提供启动虚拟节点的第二版本在第二主机上的执行，其中虚拟节点的第二版本包括第二主机上的非持久存储和第二存储元件上的持久存储。

附图说明

图1图示了根据实现的用以管理集群的节点的计算环境；

图2图示了根据实现的计算环境中的操作；

图3A-3B图示了了根据实现的迁移节点的操作场景；

图4图示了根据实现的虚拟节点的概述；

图5图示了根据实现的管理针对虚拟节点的数据请求的时序图；

图6图示了根据实现的分配新的虚拟节点的操作场景；

图7图示了根据实现的用以分配新的虚拟节点的计算环境的操作；

图8图示了根据实现的用于虚拟节点的文件系统视图；

图9图示了根据实现的用以管理虚拟节点的版本的计算环境；

图10图示了根据实现的管理计算系统；以及

图11图示了根据实现的主机计算系统。

具体实施方式

图1示出了根据实现的用以管理集群的节点的计算环境100。计算环境100包括主机110-112、管理系统170和持久数据存储160。主机110-112执行虚拟节点120-124，其中虚拟节点120-123对应于集群140，并且虚拟节点124对应于集群141。在一些实现中，集群140-141包括能够使用集群的节点并行处理大型数据集的大规模数据处理集群。这些集群可以包括Hadoop集群、Spark集群或一些其他类似类型的集群。主机110-112、管理系统170和持久数据存储160可以使用网络150进行通信。