[发明专利]一种标准元数据的数据处理方法

说明书

本发明涉及一种标准元数据的数据处理方法，它包括以下步骤：步骤1、对标准元数据进行格式化的步骤；步骤2、将标准数据与系统内目标数据作比较的步骤；步骤3、将标准数据内的各项字段内容与系统内目标数据的各项字段内容作比较的步骤；步骤4、通过年代号对标准数据有效性进行判断，建立废代关系，完成。本发明方法可对待录入的标准元数据进行规范化处理，使元数据质量较好，减少工作量，提高工作效率。

技术领域

本发明涉及数据处理方法，尤其是标准元数据的数据处理方法。

背景技术

目前，技术标准的更新速度越来越快，且随着网络数据的发展，各种各样的标准元数据数量急剧增长。由于增长的标准元数据质量参差不齐，各种来源存在大量“脏”数据，给后续的基于其上的业务带来了不小的麻烦。因为一旦标准元数据的质量处理不好，基于其上的业务逻辑便会产生问题，以致带来损失。特别是标准文献的查询销售网站，重复数据较多、质量不高、信息包含内容不全，就可能导致用户查询不到需要信息或不知如何下订单。在过去，这类问题通常是由人工判断，但随着标准数据量的不断增长和积累，由此带来的人力消耗也急剧增加，故如何对大量的标准元数据进行判重处理成了一个首要的问题。

一直以来，业内对于网络非结构数据判重问题研究较多，各种算法成果也层出不穷，且目前的各类搜索引擎中均有运用。但标准元数据作为带语义的结构化数据，其数据质量优化标准和准确度的要求都更为精确。故现有的对于非结构化数据的质量优化方案，并不能完全满足标准数据高质量的要求。

发明内容

本发明所要解决的技术问题是：提供一种标准元数据的数据处理方法，可对待录入的标准元数据进行规范化处理，使元数据质量较好，减少工作量，提高工作效率。

本发明解决其技术问题所采用的技术方案是：

一种标准元数据的数据处理方法，其特征在于：它包括以下步骤：

步骤1、对标准元数据进行格式化的步骤，得到标准数据；

步骤2、将标准数据与系统内目标数据作比较的步骤，判断是否重复，并做出以下决定：

是，进行步骤3；

或

否，新增数据，保存，进行步骤4；

步骤3、将标准数据内的各项字段内容与系统内目标数据的各项字段内容作比较的步骤，判断相同字段内容是否一致，并做出以下决定：

是，覆盖或合并系统内目标数据的相同字段内容，进行步骤4；

或

否，交人工处理，结束；

步骤4、通过年代号对标准数据有效性进行判断，建立废代关系，完成。

上述方案中，所述标准元数据至少包括标准题录与标准公告。

上述方案中，步骤1具体为：规范化检查的对象为每个标准的唯一标识——标准号，标准号格式规范，直接导入；标准号格式不规范，则进行格式化处理，格式规范后再导入。

本发明优点在于：可以对待录入的标准元数据(脏数据)进行规范化处理，使元数据质量较好，这样在比较录入数据与目标数据时，就能缩小比较范围，减少工作量，提高工作效率。而且，相较于传统的数据交换方式，这种数据质量优化方法可以在数据交换与管理系统内实现一键式操作，降低劳动成本，减少复杂工序，且可以将标准文档与标准数据库条目自动关联，去除重复数据，更加高效地对标准数据进行管理和分析，有效地提高了数据质量，极大地突破了人工处理的难度和繁复性。

附图说明

图1为本发明的流程示意图。

图2为对标准元数据进行格式化步骤的流程示意图。