[发明专利]一种基于机器学习和ceph思想的分布式储存方法

权利要求书

1.一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

包括如下步骤：

步骤1：硬盘识别系统通过采用基于归一化和支持向量机的硬盘识别模型，根据现有存储介质的特征进行存储介质分类，分为不同级别的多个等级；

步骤2：文件识别系统通过基于文件特征权值的无监督学习模型，对分类错误的文件的结果进行模型矫正；对分类正确的文件所需的存储介质等级进行匹配，选择存储介质使用策略；

步骤3：用户需要读写的文件与储存介质的位置根据改进的CRUSHING算法进行映射，根据映射将文件进行分布式储存。

2.根据权利要求1所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

所述步骤1中，基于机器学习进行硬盘识别，包括:选择硬盘并获取硬盘信息，具体包括：是否是固态、是否为机械、主控方案、颗粒等级、出厂日期、硬盘读写速度作为识别特征，计算特征的均值、标准差进行均值归一化，再通过基于支持向量机模型训练硬盘类型识别的识别模型，利用基于支持向量机训练的硬盘识别模型对硬盘进行识别；所述分为不同级别的多个等级包括分为高、中、低三个等级。

3.根据权利要求1所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：所述步骤2中，基于文件特征权值的无监督学习模型进行文件识别包括：

选取文件：获取文件大小、文件后缀、文件类型、文件流状态、子文件数目、文件服务名称、用户id、文件附带信息列表、文件流上下行字节数、文件流上下行包数、文件流上下行包头字节数、文件流上下行负载字节数、文件流上下行包长均值、文件流上下行包长方差、文件流上下行速率、文件流总字节数、文件流传输起始时间、文件流到达时间、文件流传输持续时间、丢包率、文件流传输时延带宽积作为文件类型识别特征，采用余弦相似度作为距离度量，采用k-means聚类算法进行文件类型的聚类得到识别模型，利用k-means聚类算法得到的识别模型进行文件类型的识别。

4.根据权利要求1所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

所述步骤3中，改进的CRUSHING算法具体为：将所有的硬盘根据高、中、低等级分为三组目标文件对象存储设备OSD；并且保持每组OSD中各个硬盘的空间利用程度或剩余磁盘容量相同。

5.根据权利要求1所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

所述步骤3中，文件识别系统将所要存储的文件，依据使用频率分类，也分为高、中、低三个等级，使用频率最高的文件，存储的主节点为性能最高的OSD中的某个硬盘上，备份节点为性能最低的OSD中的某个硬盘上，存两份备份；使用频率中等的文件，存储的主节点为性能中等的OSD中的某个硬盘上，备份节点为性能最低的OSD中的某个硬盘上，存两份备份；使用频率最低的文件，存储的主节点为性能最低的OSD中的某个硬盘上，备份节点为性能最低的OSD中的某个硬盘上，存两份备份。

6.根据权利要求5所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

一个放置组PG存储为一个目标文件存储设备OSD组，每个目标文件存储设备OSD组由三个上面所述的对应高中低三种级别的三种目标文件存储设备OSD组成，包括一个主存储两个备份。

7.根据权利要求1所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

文件存储的过程为：首先将待存储的文件信息识别后得到文件类型id，并将文件进行切块，根据文件id，文件类型id，文件切分序号完成文件与文件块的映射；通过静态Hash函数计算文件块id的Hash值，然后与掩码进行按位相与操作得到文件块的放置组id，完成文件块与放置组的映射，得到pgid，其中掩码为放置组总数-1。

8.根据权利要求7所述的一种基于机器学习和ceph思想的分布式储存方法，其特征在于：

利用改进后的CRUSHING算法，将pgid带入，得到一组OSD，权值较高的节点主要负责读写，其余权值较低的负责容灾。