[发明专利]一种数据处理方法、装置及设备

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取模型数据文件，所述模型数据文件包括索引数据文件和目标格式数据文件；其中，所述索引数据文件中的各项索引与所述目标格式数据文件中的各项目标格式数据具有对应关系；

将所述索引数据文件加载到内存中；

获取至少一项待处理数据，基于所述索引数据文件分别确定与各项待处理数据对应的目标数据索引；

根据所述目标数据索引以及所述对应关系，分别确定与各项待处理数据对应的目标格式数据，将各项目标格式数据加载到内存中；

对各项目标格式数据进行处理。

2.根据权利要求1所述的一种数据处理方法，其特征在于，所述获取模型数据文件之后还包括：

对所述索引数据文件进行解密，得到多项数据以及与多项数据分别对应的数据索引；

所述获取至少一项待处理数据，基于所述索引数据文件分别确定与各项待处理数据对应的数据索引包括：

将各项待处理数据分别与所述索引数据文件中的各项数据进行匹配；

对于每项待处理数据，将与所述待处理数据匹配一致的数据所对应的数据索引确定为与所述待处理数据对应的目标数据索引。

3.根据权利要求1所述的一种数据处理方法，其特征在于，所述根据所述目标数据索引以及所述对应关系，分别确定与各项待处理数据对应的目标格式数据，将各项目标格式数据加载到内存中包括：

在一级缓存中查找与所述待处理数据对应的目标格式数据；

当在所述一级缓存中查找到与所述待处理数据对应的目标格式数据时，将所述目标格式数据放入等待区。

4.根据权利要求3所述的一种数据处理方法，其特征在于，所述方法还包括：

根据所述索引数据文件中索引的数量，确定所述目标格式数据文件中目标格式数据的目标项数；

按照索引顺序将所述目标项数的目标格式数据划分为若干数据段，其中每个数据段中均包含预设项数的目标格式数据；

根据所述待处理数据的目标数据索引，确定与所述待处理数据对应的目标格式数据所在的数据段为目标数据段。

5.根据权利要求4所述的一种数据处理方法，其特征在于，所述根据所述目标数据索引以及所述对应关系，分别确定与各项待处理数据对应的目标格式数据，将各项目标格式数据加载到内存中包括：

当在所述一级缓存中没有查找到与所述待处理数据对应的目标格式数据时，在二级缓存中查找与所述待处理数据对应的目标数据段；

当在所述二级缓存中查找到所述目标数据段时，计算所述目标格式数据在所述目标数据段中的偏移量；

根据所述偏移量，从所述目标数据段中获取与所述待处理数据对应的目标格式数据；

将所述目标格式数据更新到所述一级缓存中。

6.根据权利要求5所述的一种数据处理方法，其特征在于，所述根据所述目标数据索引以及所述对应关系，分别确定与各项待处理数据对应的目标格式数据，将各项目标格式数据加载到内存中包括：

当在所述二级缓存中没有查找到所述目标数据段时，根据明文与密文的映射关系，在所述目标格式数据文件中，确定与所述待处理数据对应的目标格式数据所在的目标密文段；

在三级缓存中查找所述目标密文段；

当在所述三级缓存中查找到所述目标密文段时，对所述目标密文段进行解密，得到解密数据段；

从所述解密数据段中获取与所述待处理数据对应的目标格式数据；

将所述解密数据段更新到所述二级缓存中。

7.根据权利要求6所述的一种数据处理方法，其特征在于，所述根据所述目标数据索引以及所述对应关系，分别确定与各项待处理数据对应的目标格式数据，将各项目标格式数据加载到内存中包括：

当在所述三级缓存中没有查找到所述目标密文段时，从所述目标格式数据文件中获取所述目标密文段，将所述目标密文段加载到三级缓存中；

对所述目标密文段进行解密，得到解密数据段；

从所述解密数据段中获取与所述待处理数据对应的目标格式数据。