[发明专利]一种数据处理方法、电子设备及存储介质

说明书

本申请实施例公开了一种数据处理方法、电子设备及存储介质，涉及数据处理及数据标准化技术，其中方法包括：获取待处理的原始数据；采用预处理规则对所述原始数据进行预处理，获得目标数据；评估所述目标数据以获得数据评估结果；判断所述数据评估结果是否满足数据质量要求；若不满足，将所述目标数据标记为无效数据，便于获得规范数据以进行后续的数据存储或者处理过程，可以提高数据处理的效率和准确度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、电子设备及计算机存储介质。

背景技术

大数据已经被广泛认为是一种战略性的新型资源，可以定义当今时代产生的海量数据以及相关的技术发展与服务创新。大数据蕴藏着巨大的商业价值。在数据流通领域，随着数据量迅速增长，不同数据源的数据质量参次不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。对于大数据时代下的用户来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。用户要想充分发挥大数据所赋予的机遇和优势，前提是必须拥有可靠、准确、及时的高质量的数据，只有从高质量的大规模数据中提取隐含的、有用的信息，才能做出更加精准、更加符合市场和客户需求的决策。为此，用户更加注重数据质量及其重要性。

在医疗保健领域，在各方面都需要处理大量的医保数据，因此数据处理依然需要在保证准确性的前提下，提高处理效率。一般而言，可以通过采集接收的数据或者购买的数据进行数据比对分析和处理，实现获取有效信息的目的，但数据本身可能存在一定的误差，其数据类型等可能差异较大，因此在数据处理和分析的过程中不能准确有效地获得分析结果，以及会导致系统出现误差甚至错误，数据处理的准确率和处理效率较低。

发明内容

本申请实施例提供一种数据处理方法、电子设备及存储介质，便于获得规范数据以进行后续的数据存储或者处理过程，可以提高数据处理的效率和准确度。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

获取待处理的原始数据；采用预处理规则对所述原始数据进行预处理，获得目标数据；

评估所述目标数据以获得数据评估结果；

判断所述数据评估结果是否满足数据质量要求；

若不满足，将所述目标数据标记为无效数据。

作为一种可能的实施方式，所述判断所述数据评估结果是否满足数据质量要求之后，所述方法还包括：

将所述数据评估结果满足所述数据质量要求的目标数据标记为有效数据，并将所述有效数据存储于存储空间。

作为一种可能的实施方式，所述采用预处理规则对所述原始数据进行预处理，获得目标数据包括：

按照脱敏规则对所述原始数据进行脱敏处理，获得满足所述脱敏规则的目标数据。

作为一种可能的实施方式，所述采用预处理规则对所述原始数据进行预处理，获得目标数据还包括：

按照目标数据结构对所述原始数据进行数据转码，获得与所述目标数据结构匹配的目标数据。

作为一种可能的实施方式，所述评估所述目标数据以获得数据评估结果之前，所述方法还包括：

确定所述目标数据的目标类型，获取所述目标类型对应的排查规则；

所述评估所述目标数据以获得数据评估结果包括：

按照所述排查规则对所述目标数据进行评估以获得所述数据评估结果。

作为一种可能的实施方式，所述按照所述排查规则对所述目标数据进行检测以获得所述数据评估结果包括：