[发明专利]一种数据质量评估方法及系统

权利要求书

1.一种数据质量评估方法，其特征在于，包括：

对数据集进行评估与任务无关的数据内部特征，得到满足最低内在质量要求的数据集；

对所述满足最低内在质量要求的数据集和样本数据集中的每个数据进行特征提取，得到每个数据的特征向量；

对所述满足最低内在质量要求的数据集和样本数据集中的每个数据的特征向量进行上下文质量评估，得到质量评估结果；

对所述质量评估结果进行质量排序。

2.根据权利要求1所述的方法，其特征在于，所述对数据集进行评估与任务无关的数据内部特征，得到满足最低内在质量要求的数据集，包括：

通过模式匹配方法对数据集的正确性、可靠性和无错误的程度进行评估，得到准确性量化值；

对数据集的数据采集和存储精度进行评估，得到精确性量化值；

对数据集的无偏程度进行评估，得到客观性量化值；

对数据集的数据源被信任程度进行评估，得到可信赖性量化值；

基于所述准确性量化值、精确性量化值、客观性量化值、可信赖性量化值、准确性最低质量要求值、精确性最低质量要求值、客观性最低质量要求值和可信赖性最低质量要求值，得到满足最低内在质量要求的数据集。

3.根据权利要求1所述的方法，其特征在于，所述对所述满足最低内在质量要求的数据集和样本数据集中的每个数据进行特征提取，得到每个数据的特征向量，包括：

对所述满足最低内在质量要求的数据集和样本数据集中的每个图片数据，利用VGG-16模型，提取第八层特征作为图片数据的特征向量。

4.根据权利要求1所述的方法，其特征在于，所述对所述满足最低内在质量要求的数据集和样本数据集中的每个数据进行特征提取，得到每个数据的特征向量，包括：

对所述满足最低内在质量要求的数据集和样本数据集中的每个文本数据，利用BERT模型，提取倒数第二层特征作为文本数据的特征向量。

5.根据权利要求1所述的方法，其特征在于，对所述满足最低内在质量要求的数据集和样本数据集中的每个数据的特征向量进行上下文质量评估，得到质量评估结果，包括：

采用基于局部敏感哈希的方法，计算所述满足最低内在质量要求的数据集和样本数据集中相似点对的数量与距离的比值，得到任务相关性评估结果；

采用基于局部敏感哈希的方法，计算所述满足最低内在质量要求的数据集和样本数据集的平均距离，得到内容多样性评估结果；

计算所述满足最低内在质量要求的数据集和样本数据集中非空数据的数量与数据总量的比值，得到完整性评估结果；

评估所述满足最低内在质量要求的数据集和样本数据集中的数据量是否满足给定任务的要求，得到数据量的合适程度评估结果；

评估所述满足最低内在质量要求的数据集和样本数据集的使用周期是否满足给定任务的要求，得到时效性评估结果。

6.一种数据质量评估系统，其特征在于，包括：

内在质量评估模块，用于对数据集进行评估与任务无关的数据内部特征，得到满足最低内在质量要求的数据集；

特征提取模块，用于对所述满足最低内在质量要求的数据集和样本数据集中的每个数据进行特征提取，得到每个数据的特征向量；

上下文质量评估模块，用于对所述满足最低内在质量要求的数据集和样本数据集中的每个数据的特征向量进行上下文质量评估，得到质量评估结果；

质量排序模块，用于对所述质量评估结果进行质量排序。