[发明专利]数据表清洗方法、装置、终端及存储介质

权利要求书

1.一种数据表清洗方法，其特征在于，包括：

获取数据表的数据标识和数据属性；

根据所述数据标识判断所述数据表是否需要加密清洗；

在判定所述数据表需要加密清洗时，根据所述数据属性建立所述数据表的加密清洗进程；

根据所述加密清洗进程对所述数据表进行加密清洗，得到加密标准数据表，并将所述加密标准数据表发送至指定加密设备进行加密存储。

2.根据权利要求1所述的数据表清洗方法，其特征在于，所述根据所述数据属性建立所述数据表的加密清洗进程，包括：

根据所述数据属性确定所述数据表的清洗规则集；

根据所述清洗规则集建立包括清洗程序块和清洗记录块的清洗进程，并对所述清洗程序块进行加密，得到所述数据表的加密清洗进程；其中，所述清洗程序块用于根据所述清洗规则集对所述数据表进行清洗；所述清洗记录块用于记录所述数据表的清洗过程。

3.根据权利要求2所述的数据表清洗方法，其特征在于，所述数据属性包括数据表中各项数据的属性类别；

所述根据所述数据属性确定所述数据表的清洗规则集，包括：

利用标准数据字典，对各个同一属性类别的数据进行预修正，得到各个同一属性类别的预修正数据；

将各个属性类别的预修正数据分别归一化，得到标准属性数据集；

根据所述标准属性数据集确定所述数据表的清洗规则集。

4.根据权利要求1所述的数据表清洗方法，其特征在于，在根据所述数据标识判断所述数据表是否需要加密清洗前，还包括：

对所述数据表进行预处理，得到预处理数据表；

所述对所述数据表进行预处理，包括：

去除所述数据表中的重复值和所述数据表的唯一属性；

对所述数据表中的缺失值进行补全。

5.根据权利要求1所述的数据表清洗方法，其特征在于，所述数据标识包括所述数据表的数值集和身份集；所述数值集包括所述数据表中各项数据的数据等级，所述身份集包括所述数据表中各项数据的上传用户等级；

所述根据所述数据标识判断所述数据表是否需要加密清洗，包括：

对于所述数据表中的每项数据，将该数据的数据等级和上传用户等级相乘，得到该数据的自加密等级；

将所述数据表中的各项数据的自加密等级相加，得到所述数据表的加密等级；

若所述加密等级不低于预设加密等级，则判定所述数据表需要加密清洗；

若所述加密等级低于预设加密等级，则判定所述数据表不需要加密清洗。

6.根据权利要求1至5任一项所述的数据表清洗方法，其特征在于，所述方法还包括：

在判定所述数据表不需要加密清洗时，根据所述数据属性建立所述数据表的非加密清洗进程；

根据所述非加密清洗进程对所述数据表进行非加密清洗，得到非加密标准数据表，并将所述非加密标准数据表发送至指定非加密设备进行非加密存储。

7.一种数据表清洗装置，其特征在于，包括：

获取模块，用于获取数据表的数据标识和数据属性；

判断模块，用于根据所述数据标识判断所述数据表是否需要加密清洗；

清洗模块，用于在判定所述数据表需要加密清洗时，根据所述数据属性建立所述数据表的加密清洗进程；

传输模块，用于根据所述加密清洗进程对所述数据表进行加密清洗，得到加密标准数据表，并将所述加密标准数据表发送至指定加密设备进行加密存储。

8.根据权利要求7所述的数据表清洗装置，其特征在于，所述清洗模块包括：

规则确定单元，用于根据所述数据属性确定所述数据表的清洗规则集；

加密单元，用于根据所述清洗规则集建立包括清洗程序块和清洗记录块的清洗进程，并对所述清洗程序块进行加密，得到所述数据表的加密清洗进程；其中，所述清洗程序块用于根据所述清洗规则集对所述数据表进行清洗；所述清洗记录块用于记录所述数据表的清洗过程。