[发明专利]一种评估数据信息的方法和装置

说明书

本发明提供一种评估数据信息的方法和装置，包括多个模板表，每个模板表对应一种类别属性的类表，每种类表包括多个不同信息的逻辑表，方法包括：采集数据的日志；解析所述日志，得到数据的关键字；依据数据的关键字，查找出与所述数据的类别属性相同的模板表，并从模板表对应的类表中，查找出与所述数据的信息相同的多个逻辑表；依据所述多个逻辑表中各数据的使用信息，对数据的信息进行评估。本发明从数据应用过程中产生的日志入手，分析与其信息相同的多个逻辑表中各数据的使用情况，从而对当前采集到的数据的信息，例如数据的存储周期、数据中的冗余字段进行评估，能够科学地评估出数据最合理的存储周期、数据中的冗余字段等信息。

技术领域

本发明涉及数据最小时效性技术领域，更具体地说，涉及一种评估数据信息的方法和装置，以得到数据的最小时效性、字段使用信息等相关参数。

背景技术

在目前的数据最小时效性技术领域中，现有评估数据信息的方法是，以人为的业务经验或高层领导决策针对数据中心中各类数据库或平台(DB2、Oracle、MPP、TERADATA、HADOOP等)的数据建立一套参数配置体系，参数配置例如包括数据的清理日期、存储周期等，进而通过定期提醒告知数据中心的运维人员依据参数配置对数据进行管理。

数据中心存储有大量的数据，每个数据均以表的形式进行存储。那么针对每个数据具体应该存储多久，数据冗余如何优化都是通过人为主观经验或决策进行定义的。而显然这种人为定义的方式并不能科学地评估出数据最合理的存储周期、数据中的冗余字段等信息。

发明内容

有鉴于此，本发明提供一种评估数据信息的方法和装置，以解决现有评估数据信息的方法不能科学地评估出数据最合理的存储周期、数据中的冗余字段等信息的问题。技术方案如下：

基于本发明的一方面，本发明提供一种评估数据信息的方法，包括多个模板表，每个模板表对应一种类别属性的类表，每种类表包括多个不同信息的逻辑表；所述方法包括：

采集数据的日志；

解析所述日志，得到所述数据的关键字；

依据所述数据的关键字，查找出与所述数据的类别属性相同的模板表，并从所述模板表对应的类表中，查找出与所述数据的信息相同的多个逻辑表；

依据所述多个逻辑表中各数据的使用信息，对所述数据的信息进行评估。

优选地，所述日志包括：任务运行日志和数据库实时访问日志。

优选地，所述解析所述日志包括：采用结构查询语言SQL解析引擎解析所述日志。

优选地，不同类别属性的类表至少包括以下一种：日表、月表、年表。

优选地，所述依据所述多个逻辑表中各数据的使用信息，对所述数据的信息进行评估包括：

依据所述多个逻辑表中各数据的使用情况评估所述数据的使用周期；

依据所述多个逻辑表中各数据字段的使用情况评估所述数据的引用字段和非引用字段。

基于本发明的另一方面，本发明提供一种评估数据信息的装置，包括多个模板表，每个模板表对应一种类别属性的类表，每种类表包括多个不同信息的逻辑表；所述装置包括：

采集单元，用于采集数据的日志；

解析单元，用于解析所述日志，得到所述数据的关键字；

查找单元，用于依据所述数据的关键字，查找出与所述数据的类别属性相同的模板表，并从所述模板表对应的类表中，查找出与所述数据的信息相同的多个逻辑表；

评估单元，用于依据所述多个逻辑表中各数据的使用信息，对所述数据的信息进行评估。