[发明专利]数据文件分配方法及装置、智能设备和计算机存储介质

说明书

本发明公开了一种数据文件分配方法及装置、智能设备和计算机存储介质，所述方法包括以下步骤：按照各个数据文件的访问频率对数据文件进行排序，所述排序方式包括升序或者降序；按照排序后的顺序将所述数据文件分割为至少两个数据块，其中，各个数据块的数据文件的数量相等；对每个数据块中的数据文件进行两两合并以更新所述数据文件；返回执行所述按照各个数据文件的访问频率对数据文件进行排序的步骤，直至所述数据文件的数量达到分布式节点的数量；将所述数据文件放置至对应的分布式节点，解决现有技术中数据文件分配不均衡导致分布式系统不稳定的问题，提高分布式系统的稳定性。

技术领域

本发明涉及云计算技术领域，尤其涉及一种数据文件分配方法及装置、智能设备和计算机存储介质。

背景技术

在云计算环境中，多台具有计算、存储、通讯功能的计算机通过网络线路进行连接，每台计算机相当于一个节点，从而形成由多个节点组成的分布式系统，可以并行的在各个节点上进行数据存储或者其他分布式计算任务，现有技术在计算机节点放置数据文件的过程中，无法根据分布式环境合理的将数据文件均衡分配并放置至各个计算机节点，从而造成数据文件分配不均衡导致分布式系统不稳定，不利于分布式系统的稳定性。

发明内容

本发明主要目的在于提供一种数据文件分配方法及装置、智能设备和计算机存储介质，旨在解决数据文件分配不均衡导致分布式系统不稳定的问题。

为实现上述目的，本发明提供一种数据文件分配方法；在一实施例中，所述数据文件分配方法包括以下步骤：

按照各个数据文件的访问频率对数据文件进行排序，所述排序方式包括升序或者降序；

按照排序后的顺序将所述数据文件分割为至少两个数据块，其中，各个数据块的数据文件的数量相等；

对每个数据块中的数据文件进行两两合并以更新所述数据文件；

返回执行所述按照各个数据文件的访问频率对数据文件进行排序的步骤，直至所述数据文件的数量达到分布式节点的数量；

将所述数据文件放置至对应的分布式节点。

在一实施例中，所述按照排序后的顺序将所述数据文件分割为至少两个数据块的步骤包括：

根据所述数据文件的数量以及所述分布式节点的数量确定目标数量；

按照排序后的顺序将所述数据文件分割为所述目标数量的数据块。

在一实施例中，所述根据所述数据文件的数量以及所述分布式节点的数量确定目标数量的步骤包括：

获取所述数据文件的数量与所述分布式节点的数量的倍数之间的第一比值；

将所述第一比值作为所述目标数量。

在一实施例中，所述按照各个数据文件的访问频率对数据文件进行排序的步骤之前，还包括：

获取所述数据文件的数量与所述分布式节点的数量之间的第二比值；

在所述第二比值为非整数时，生成虚拟文件作为所述数据文件，并将生成的所述数据文件的访问频率设置为零。

在一实施例中，所述对每个数据块中的数据文件进行两两合并以更新所述数据文件的步骤包括：

将所述数据块中由数据文件组成的数据列中的第一目标文件和第二目标文件合并以得到更新后的所述数据文件，在首次合并时，所述第一目标文件为所述数据列首位的数据文件，所述第二目标文件为所述数据列末尾的数据文件；

将所述数据列中当前的所述第一目标文件中的下一数据文件更新为所述第一目标文件，将所述数据列中当前的所述第二目标文件中的前一数据文件更新为所述第二目标文件；