[发明专利]一种数据评价方法、装置、终端设备及可读存储介质

说明书

本发明公开了一种数据评价方法、装置、终端设备及可读存储介质，所述方法包括：基于数据评价体系的数据质量评价功能和数据开放的评价功能，从数据资源详情界面中收集数据质量评价信息和数据开放评价信息；分别将所述数据质量评价信息和所述数据开放评价信息输入预先构建的数据质量评价模型和数据开放评价模型中进行评价分析，输出相应的评价报告。本发明能够分析整个数据湖的数据质量及存在问题，找出问题的原因，整改数据质量的常见问题，持续推进数据湖的持续开放和共享。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据评价方法、装置、终端设备及可读存储介质。

背景技术

当数据湖的数据被大规模使用后，各种数据质量的评价、问题反馈便会随之而来，对此，需要一套可以利用收集到的评价信息形成的数据质量评价体系，以确保整体数据质量。

在对现有技术的研究与实践过程中，本发明的发明人发现，基于从数据使用者处(机构、组织)收集评价信息并对数据质量评判，包括数据是否及时、数据是否完整、数据的价值如何，能够分析整个数据湖的数据质量及存在问题，找出问题的原因，整改数据质量的常见问题，持续推进数据湖的持续开放和共享。

发明内容

本发明实施例所要解决的技术问题在于，提供一种构建数据评价体系的方法，能够分析整个数据湖的数据质量及存在问题，找出问题的原因，整改数据质量的常见问题，持续推进数据湖的持续开放和共享。

为解决上述问题，本发明的一个实施例提供一种构建数据评价体系的方法，适用于在计算机设备中执行，至少包括如下步骤：

基于数据评价体系的数据质量评价功能和数据开放的评价功能，从数据资源详情界面中收集数据质量评价信息和数据开放评价信息；

分别将所述数据质量评价信息和所述数据开放评价信息输入预先构建的数据质量评价模型和数据开放评价模型中进行评价分析，输出相应的评价报告。

进一步地，所述分别将所述数据质量评价信息和所述数据开放评价信息输入预先构建的数据质量评价模型和数据开放评价模型中进行评价分析，输出相应的评价报告，具体为:

将所述数据质量评价信息输入预先构建的数据质量评价模型，进行数据及时性、数据完整性和数据一致性分析，并按设定的周期生成数据质量评价报告；

将所述数据开放评价信息输入预先构建的数据开放评价模型，进行数据资源个数、数据资源记录数、数据资源存储大小和数据资源更新周期分析，并按设定的周期生成数据开放评价报告；

根据所述数据质量评价报告和所述数据开放评价报告，输出最终的评价报告，以使客户端根据所述评价报告对相应的数据质量和数据开放的相关问题进行整改。

进一步地，所述数据质量评价模型对所述数据质量评价信息中的数据一致性的评价分析步骤为：从所述数据质量评价信息中抽取需要进行数据一致性评价的数据，形成样本数据表；

对所述样本数据表中的数据进行格式化，即从所述数据质量评价信息中大量的非结构化的信息抽取出结构化信息，以备进一步的分析应用；抽取的结构化信息包括出现问题的字段，所述问题包括内容不一致、数据量不一致、数字不一致，以及文件体不一致；

根据所述结构化信息，提取导致数据不一致的最大共性，获得导致问题的根因。

进一步地，，所述数据质量评价信息，为对数据资源的总体评价，包括定性的星级评价和评价内容描述；所述数据开放评价信息，为对数据资源开放内容与用户需求的满足度评价，包括数据开放的记录数和字段内容是否足够。

本发明的一个实施例还提供了一种数据评价装置，包括：

所述数据评价采集模块，用于基于数据评价体系的数据质量评价功能和数据开放的评价功能，从数据资源详情界面中收集数据质量评价信息和数据开放评价信息；