[发明专利]一种数据清洗方法、装置、电子设备及存储介质

说明书

本申请的涉及一种数据清洗方法，包括：获取样本数据；根据所述样本数据确定一般成员集合，其中所述一般成员集合包括所述样本数据中的全部一般成员；根据所述样本数据确定特殊成员集合，其中所述一般成员集合包括所述样本数据中的全部特殊成员；根据所述一般成员集合和所述特殊成员集合得到清洁数据集。

技术领域

本申请属于数据库领域，特别涉及一种数据清洗方法、一种数据清洗装置、一种电子设备及一种存储介质。

背景技术

本专利的应用背景是在现有的26个科技人才数据库中以研究人的受教育经历，研究机构，研究项目，论文，专利为关键字，获取以研究人身份证号为主键的数据库。

因现在的科技人才数据库数据冗余度高，数据缺项、数据重复和冲突的情况常见，现有的算法无法智能识别数据质量，数据清洗难以做到满足数据质量的要求。并且数据库的元组规模在亿条级别，通过人工清洗和设置关键字筛选的传统方法很难短时间内建立数据库，本文提出一种基于人工智能的科技人才数据自动清洗方法。

发明内容

本申请旨在提供一种数据清洗方法、一种数据清洗装置、一种电子设备及一种存储介质。

本申请的一个实施例提供了一种数据清洗方法，包括：获取样本数据；根据所述样本数据确定一般成员集合，其中所述一般成员集合包括所述样本数据中的全部一般成员；根据所述样本数据确定特殊成员集合，其中所述一般成员集合包括所述样本数据中的全部特殊成员；根据所述一般成员集合和所述特殊成员集合得到清洁数据集。

可选地，该方法还可以包括：在所述一般成员集合中检索符合预设的选择条件的成员，得到一般成员子集；在所述特殊成员集合中检索符合所述预设的选择条件的成员，得到特殊成员子集；所述根据所述一般成员集合和所述特殊成员集合得到清洁数据集，包括：根据所述一般成员子集和所述特殊成员子集的到清洁数据集。

可选地，在该方法中，所述一般成员集合包和所述特殊成员集合可以包含至少一个相同属性。

进一步地，该方法还可以包括：确定所述一般成员集合中每个成员的评价因子；确定所述特殊成员集合中每个成员的所述评价因子；其中，所述评价因子为根据成员的所述至少一个相同属性的预设线性表达式得到。

更进一步地，该方法中，所述预设的选择条件可以为所述评价因子与第一阈值的比较结果。

本申请的另一实施例还提供了一种数据清洗装置，包括：样本数据获取单元，用于获取样本数据；一般成员集合建立单元，用于根据所述样本数据，建立一般成员集合；特殊成员集合建立单元，用于根据所述样本数据，建立特殊成员集合；清洁数据获取单元，用于根据所述一般成员集合和所述特殊成员集合确定清洁数据集。

可选地，该装置还可以包括：一般成员子集建立单元，连接于所述一般成员集合建立单元和所述清洁数据获取单元之间，用于根据所述一般成员集合建立一般成员子集；特殊成员子集建立单元，连接于所述特殊成员集合建立单元和所述清洁数据获取单元之间，用于根据所述特殊成员集合建立特殊成员子集。

进一步地，该装置还可以包括：评价因子确定单元，用于确定所述一般成员集合中的成员的评价因子，所述一般成员集合中的成员的评价因子用于建立所述一般成员子集，评价因子确定单元还用于确定所述特殊成员集合的成员的评价因子，所述特殊成员集合的成员的评价因子用于建立所述特殊成员子集。

本申请的另一实施例还提供了一种电子设备包括处理器和存储器，以及存储于所述存储器的，所述处理器可执行的程序，当所述程序被执行时，所述处理器执行前述任意一种方法。

本申请的另一实施例还提供了一种存储介质，存储处理器可执行的程序，当所述程序被执行时，所述处理器执行前述任意一种方法。