[发明专利]一种数据存储的方法、及其数据获取方法、装置

说明书

公开了一种数据存储的方法，该方法包括，为N个具有至少V维的待存储数据分配一个N维第一参数向量；其中，V、N为自然数，V大于等于N；对所述第一参数向量进行N维置换，获得N个分别具有N维的第二参数向量，构建一将所述第二参数向量映射到所述待存储数据的期望数据样本的神经网络模型，对所述神经网络模型参数、和/或第一参数向量进行调整，直至第二参数向量基于训练后的神经网络模型所获得的所述待存储数据的期望数据样本回归于所述待存储数据，存储所述当前第一参数向量。本发明使得存储了第一参数向量，就相当于存储了待存储的数据，将高维数据降低为低维数据来存储，使得存储空间大大降低。

技术领域

本申请涉及数据存储领域，特别地，涉及一种降低存储空间的数据存储方法。

背景技术

数据维度是指具有不同值的对象的描述性属性或特征。例如，一张具有16×16像素的图片，每个像素具有不同像素值，则可视为具有256个维度的数据。

为了解决存储数据维度高所需存储空间大的问题，自编码器被用于为低维数据和高维数据建立一一对应的映射关系，这样，基于存储的低维数据，通过自编码器可得到对应的高维数据，从而使得存储空间能够减少。这类自编码器虽然一定程度降低了数据存储空间，但是在存储自编码器的网络模型参数的同时，仍需要大量存储压缩过的低维数据，这样，如果数据量非常大的情况下，基于自编码器的算法仍要大量存储空间。

如何进一步降低高维数据所对应的低维数据的存储量是一个亟待解决的问题。

发明内容

本发明提供了一种数据存储方法，以降低存储高维数据所需要的存储空间。

本发明提供的一种数据存储的方法是这样实现的：

为N个待存储数据分配一个N维第一参数向量；其中，V、N为自然数，V大于等于N；

对所述第一参数向量进行N维置换，获得N个分别具有N维的第二参数向量，

构建一将所述第二参数向量映射到所述待存储数据的期望样本数据的神经网络模型，

对所述神经网络模型参数、和/或第一参数向量进行调整，直至第二参数向量基于训练后的神经网络模型所获得的所述待存储数据的期望数据样本回归于所述待存储数据，存储所述当前第一参数向量。

该方法还包括，如果第二参数向量基于训练后的神经网络模型所获得的所述待存储数据的期望数据样本未回归于所述待存储数据，则对当前第一参数向量进行N维置换，返回执行神经网络模型参数、和/或第一参数向量进行调整、直至第二参数向量基于训练后的神经网络模型获得所述待存储数据的步骤。。

较佳地，该方法还包括，对所述待存储数据按照类别进行区分，和/或，对同一类别数据分别为每个待存储数据分配标识，并存储所述类别和/或标识与所述第一参数向量的对应关系；

该方法还包括，存储训练后的神经网络模型的模型参数；

所述第一参数向量中各维参数初始值按照高斯分布随机值分别从所述N个待存储数据获得。

其中，所述对所述第一参数向量进行N维置换，获得N个分别具有N维的第二参数向量，包括，通过N个仿射变换矩阵对所述第一参数向量进行N维置换，使得所述第二参数向量在每个维度上的值与所述第一参数向量对应维度上的值不同。

其中，所述通过N个仿射变换矩阵对所述第一参数向量进行N维置换，使得所述第二参数向量在每个维度上的值与所述第一参数向量对应维度上的值不同，包括，

通过N个仿射变换矩阵分别对所述第一参数向量进行置换，使得：当k等于1时，所述第二参数向量等于第一参数向量；当k不等于1时，分别把所述第一参数向量的前k-1个元素截出放到该参数向量的末端，得到k-1个分别具有N维的第二参数向量，其中，k＝1,…N。