[发明专利]数据迁移方法、装置、系统和计算机可读存储介质

说明书

本公开涉及一种数据迁移方法、装置、系统和计算机可读存储介质，涉及计算机技术领域。本公开的方法包括：确定新增的图引擎服务的标签在哈希环中的位置；根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离，确定属于新增的图引擎服务的待迁移的图分片数据；向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息，将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。

技术领域

本公开涉及计算机技术领域，特别涉及一种数据迁移方法、装置、系统和计算机可读存储介质。

背景技术

近些年来移动互联网的普及推动了电子商务(E-Commerce)、社交网络(SocialNetwork)等领域的飞速发展，产生了海量的用户和商品数据。如何高效地利用这些数据来优化用户体验并持续创造价值，成为了该类应用提供商面临的重大挑战。图(graph)这一数据结构，拥有很强的表达能力，非常适用于建模社交网络中用户之间的关系以及电商系统中用户和商品之间的关系。因此，将图这一数据结构引入电商系统和社交网络来刻画用户与商品及用户与用户之间的关系，有利于更好地捕捉用户兴趣的演化过程，能够为电商系统中的个性化推荐、在线广告投放以及社交网络中的好友推荐等提供更多指导信息，进而优化用户体验和创造价值。

在图建模的实际应用中，通常会构建一个在线图引擎服务来加载图数据。该服务为其他服务提供图数据的查询服务。在真实的工业级别应用中，图数据数量非常庞大，单机已无法加载，在实际上线时需要对图数据进行剖分得到图分片数据，并构建一个分布式图引擎来加载图数据，并对外提供图数据查询服务。

随着电商系统和社交网络中活跃用户不断增长，用户行为也日趋丰富。因此对电商系统和社交网络进行图建模得到的图数据不断增长。且由于线上图分片数据数目N一般保持恒定，因此单个分片文件大小会持续增加，导致图引擎服务机器内存加载不下。因此需要增加图引擎服务的数量M以重新进行图数据分片文件到图引擎服务的分配，使得图数据分片文件能够被顺利加载。

发明内容

发明人发现：在线分布式图引擎在图数据不断增长，需扩充图数据引擎服务的数量时，现有的方法会导致图分片数据迁移量过大，甚至会在大量迁移过程中导致部分查询失败的问题。

本公开所要解决的一个技术问题是：如何在扩充图引擎的情况下，减少图分片数据的迁移量。

根据本公开的一些实施例，提供的一种数据迁移方法，包括：确定新增的图引擎服务的标签在哈希环中的位置；根据标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离，确定属于新增的图引擎服务的待迁移的图分片数据；向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息，将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务。

在一些实施例中，新增的图引擎服务的标签为多个，确定新增的图引擎服务的标签在哈希环中的位置包括：获取新增的图引擎服务的多个标签；根据预设哈希函数，确定各个标签的哈希值；根据各个标签的哈希值确定各个标签在哈希环中的位置。

在一些实施例中，根据各个标签在哈希环中的位置和已分配的各个图分片数据在哈希环中的位置的距离，确定属于新增的图引擎服务的待迁移的图分片数据包括：在哈希环中按照预设顺序，依次确定与各个图分片数据在哈希环中的位置距离最近的标签，作为各个图分片数据对应的标签；根据各个图分片数据对应的标签和各个标签所属的图引擎服务，重新生成图分片数据和图引擎服务的映射表，映射表中与新增的图引擎服务对应的为待迁移的图分片数据。

在一些实施例中，向新增的图引擎服务和待迁移的图分片数据的原图引擎服务发送指示信息，将待迁移的图分片数据由原图引擎服务迁移到新增的图引擎服务包括：向各个图引擎服务发送指示信息，其中，指示信息包括映射表；接收新增的图引擎服务发送加载完成消息，其中，加载完成消息表示新增的图引擎服务根据映射表完成对待迁移的图分片数据的加载；向原图引擎服务发送删除指示；接收原图引擎服务发送的删除完成消息，其中，删除完成消息表示原图引擎服务根据映射表完成对待迁移的图分片数据的删除。