[发明专利]海量数据高速缓存的方法及装置

权利要求书

1.一种海量数据高速缓存的方法，其特征在于，所述方法包括：

将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；

在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；

若否，从所述数据库中获取缺失的数据，所述缺失的数据为所缓存的mat文件中缺失的与所述数据请求信息相对应的数据；

将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户，所述mat文件为与所述数据请求信息相对应的文件；

将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存。

2.如权利要求1所述的方法，其特征在于，所述将数据转换成标准化的矩阵格式的数据包括：

从数据库中获取cell格式的数据；

根据获取的所述数据生成行列索引；

根据所述行列索引将所述cell格式的数据转换成标准化的数值矩阵，并根据所述行列索引对获取的所述数据进行定位，即每条数据在所述数值矩阵中的行列坐标；

根据所述定位，将获取的所述数据批量插入到所述数值矩阵的相应位置；

对所述数值矩阵中空缺的位置进行数据填充、插值或标记。

3.如权利要求1所述的方法，其特征在于，从所述数据库中获取缺失的数据包括：

以最大化命中率和完成率为目标函数，并通过聚类的方式获得最大化目标函数，根据所述最大化目标函数确定搜索的次数以及每次搜索的行列索引，并根据所述搜索的次数以及每次搜索的行列索引对所述数据库进行搜索以获取所述缺失的数据。

4.如权利要求3所述的方法，其特征在于，所述以最大化命中率和完成率为目标函数，并通过聚类的方式获得最大化目标函数，根据所述最大化目标函数确定搜索的次数以及每次搜索的行列索引，并根据所述搜索的次数以及每次搜索的行列索引对所述数据库进行搜索以获取所述缺失的数据包括：

A、将与所述数据请求信息相对应的mat文件中标准化的矩阵按列进行分段；

B、统计每个列区间缺失数据的数量，并按照所述缺失数据的数量对列区间进行排序；

C、从缺失数据数量最多或最少的列区间开始，进行行变换，并与其相连的列区间进行相同缺失数据行的合并，计算合并后列区间待获取子矩阵的命中率和完成率，其中所述子矩阵的命中率=子矩阵中缺失数据的数量/子矩阵大小，所述子矩阵的完成率=子矩阵中缺失数据的数量/矩阵缺失数据的总数；

D、以所述子矩阵的命中率和完成率为目标函数进行列区间的搜索合并，以获得最大化目标函数的合并方式，并根据所述最大化目标函数的合并方式对所述数据库进行搜索以获取所述列区间缺失的数据；

E、迭代进行A、B、C、D步骤，直到所述矩阵中所有缺失的数据都被获取。

5.如权利要求1所述的方法，其特征在于，所述接收用户的数据请求信息包括：

接收用户通过统一接口发送的数据请求信息，所述统一接口通过多个数据适配器和数据接口路由实现，所述数据适配器用于对从所述数据库中获取的不同的原始数据进行处理，其中每一个数据适配器处理一类数据，所述数据接口路由用于将不同的数据请求信息发送至相应的数据适配器。

6.一种海量数据高速缓存的装置，其特征在于，所述装置包括：

第一缓存单元，用于将数据库中获取的原始数据转换成标准化的矩阵格式的数据，并将转换后的数据以mat文件格式缓存；

判断单元，用于在接收到用户的数据请求信息时，判断所缓存的mat文件中是否存在与所述数据请求信息相对应的全部数据；

数据获取单元，用于在所述判断单元判断结果为否时，从所述数据库中获取缺失的数据，所述缺失的数据为所缓存的mat文件中缺失的与所述数据请求信息相对应的数据；

数据填充单元，用于将所述缺失的数据转换成标准化的矩阵格式的数据后填充到所述mat文件中，并将填充后的所述mat文件中与所述数据请求信息相对应的数据反馈给所述用户，所述mat文件为与所述数据请求信息相对应的文件；

所述第一缓存单元，还用于将所述缺失的数据转换成标准化的矩阵格式的数据后以mat文件格式缓存。