[发明专利]数据表清洗方法、装置、终端及存储介质

说明书

本发明提供一种数据表清洗方法、装置、终端及存储介质。该方法包括：获取数据表的数据标识和数据属性；根据数据标识判断数据表是否需要加密清洗；在判定数据表需要加密清洗时，根据数据属性建立数据表的加密清洗进程；根据加密清洗进程对数据表进行加密清洗，得到加密标准数据表，并将加密标准数据表发送至指定加密设备进行加密存储。本发明能够提高数据表的安全性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据表清洗方法、装置、终端及存储介质。

背景技术

随着云时代的来临，大数据受到广泛重视。通过对大数据进行挖掘，可以获得许多有价值的信息。大数据可以帮助企业了解和定位客户、帮助了解和优化业务流程或者改善医疗保健和公共卫生等。然而，受到数据采集或者数据传输等过程的影响，对大数据的准确性有影响。如数据丢失、数据重复或者数据不完整等等。

在录入数据时，往往会将各项数据以数据表的形式录入，更便于进行数据处理。现有技术大多是通过数据清洗对数据表进行筛选或者修复等，如通过人工方式配置该数据表的清洗任务，进而对数据表进行清洗。然而，不同的数据表重要程度不同，采用人工配置清洗任务清洗数据表的方式，不仅耗时长，而且保密程度较低，不能很好保证数据表的安全性。

发明内容

本发明实施例提供了一种数据表清洗方法、装置、终端及存储介质，以解决现有数据表清洗方式不能很好保证数据表的安全性的问题。

第一方面，本发明实施例提供了一种数据表清洗方法，包括：

获取数据表的数据标识和数据属性；

根据数据标识判断数据表是否需要加密清洗；

在判定数据表需要加密清洗时，根据数据属性建立数据表的加密清洗进程；

根据加密清洗进程对数据表进行加密清洗，得到加密标准数据表，并将加密标准数据表发送至指定加密设备进行加密存储。

在一种可能的实现方式中，根据数据属性建立数据表的加密清洗进程，包括：

根据数据属性确定数据表的清洗规则集；

根据清洗规则集建立包括清洗程序块和清洗记录块的清洗进程，并对清洗程序块进行加密，得到数据表的加密清洗进程；其中，清洗程序块用于根据清洗规则集对数据表进行清洗；清洗记录块用于记录数据表的清洗过程。

在一种可能的实现方式中，数据属性包括数据表中各项数据的属性类别；

根据数据属性确定数据表的清洗规则集，包括：

利用标准数据字典，对各个同一属性类别的数据进行预修正，得到各个同一属性类别的预修正数据；

将各个同一属性类别的预修正数据分别归一化，得到标准属性数据集；

根据标准属性数据集确定数据表的清洗规则集。

在一种可能的实现方式中，在根据数据标识判断数据表是否需要加密清洗前，还包括：

对数据表进行预处理，得到预处理数据表；

对数据表进行预处理，包括：

去除数据表中的重复值和数据表的唯一属性；

对数据表中的缺失值进行补全。

在一种可能的实现方式中，数据标识包括数据表的数值集和身份集；数值集包括数据表中各项数据的数据等级，身份集包括数据表中各项数据的上传用户等级；

根据数据标识判断数据表是否需要加密清洗，包括：

对于数据表中的每项数据，将该数据的数据等级和上传用户等级相乘，得到该数据的自加密等级；