[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取第一分布式文件系统中各个数据的使用频率；

将使用频率低于设定频率的数据确定为冷数据；

将所述冷数据同步到第二分布式文件系统中，其中，所述第二分布式文件系统设置在第二服务器中预设的网络附属存储器，所述第一分布式文件系统设置在预设服务器；

在同步完成之后，将所述冷数据从所述第一分布式文件系统中删除。

2.根据权利要求1所述的方法，其特征在于，在将所述冷数据同步到第二分布式文件系统中之前，所述方法还包括：

在所述第一分布式文件系统对应的数据仓库中创建外部表；

将所述外部表的存储位置设置为所述第二分布式文件系统的目录名；

根据所述外部表的存储位置修复所述数据仓库中表的分区。

3.根据权利要求1所述的方法，其特征在于，在获取第一分布式文件系统中各个数据的使用频率之前，所述方法还包括：

将所述网络附属存储器的存储空间划分为多个卷；

将所述多个卷挂载到至少一台所述预设服务器中；

在每台所述预设服务器中安装所述第二分布式文件系统，其中，所述第二分布式文件系统包含一个管理节点和多个数据节点；

将所述数据节点中的数据存储位置配置为所述多个卷的挂载位置。

4.根据权利要求3所述的方法，其特征在于，将所述网络附属存储器存储空间划分为多个卷包括：

将预设网络存储空间划分为多个大小相同的卷；或将预设网络存储空间划分为多个大小相差不超过预设阈值的卷。

5.根据权利要求1所述的方法，其特征在于，将所述冷数据同步到第二分布式文件系统中包括：

通过分布式文件系统自带的分布式拷贝命令将所述冷数据同步到第二分布式文件系统中。

6.根据权利要求1所述的方法，其特征在于，所述获取第一分布式文件系统中各个数据的使用频率，包括：

周期性地获取第一分布式文件系统中各个数据的使用频率。

7.根据权利要求6所述的方法，其特征在于，所述将使用频率低于设定频率的数据确定为冷数据，包括：

将当前周期内使用频率低于设定频率的数据确定为冷数据；

或者，将当前周期内及当前周期以前连续的一个或多个周期内使用频率低于设定频率的数据确定为冷数据。

8.一种数据处理装置，其特征在于，包括：

获取单元，获取第一分布式文件系统中各个数据的使用频率；

确定单元，用于将使用频率低于设定频率的数据确定为冷数据；

同步单元，用于将所述冷数据同步到第二分布式文件系统中，其中，所述第二分布式文件系统设置在第二服务器中预设的网络附属存储器，所述第一分布式文件系统设置在预设服务器；

删除单元，用于在同步完成之后，将所述冷数据从所述第一分布式文件系统中删除。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序被处理器执行时执行权利要求1至7中任意一项所述的数据处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据处理方法。