[发明专利]基于电子元器件的数据仓库构建方法及系统

说明书

本发明适用于数据仓库技术领域，提供了一种基于电子元器件的数据仓库构建方法及系统，该方法包括：获取电子元器件数据源，并将电子元器件数据源中的数据存储在数据源缓存中；以及并行执行部下述步骤：从数据源缓存中获取待抽取处理数据，并根据待抽取处理数据中电子元器件的特征进行分类，根据不同的类别进行特征抽取，并将抽取的特征数据存储在第一缓存中；从所第一缓存中获取待转换数据，根据待转换数据进行数据格式转换，并将转换后的数据存储在第二缓存中；从第二缓存中获取待装载数据，将待装载数据转存到数据仓库中。从而将散乱的电子元器件数据存储到数据仓库中，且本发明通过并行处理方式可以提高数据处理效率。

技术领域

本发明属于数据仓库技术领域，尤其涉及一种基于电子元器件的数据仓库构建方法及系统。

背景技术

数据仓库(Database)是按照数据结构来组织、存储和管理数据的仓库，它产生于距今六十多年前，数据仓库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据仓库系统，数据仓库在各个领域得到了广泛的应用。

但是目前并没有针对电子元器件的数据仓库。目前电子元器件数据多以纸介质形式，按照年、月进行归档存储，导致数据不易保存、容易出现数据错误且查询困难等问题。并且随着电子元器件的品种越来越多、数据量越来越大、电子元器件数据较分散，导致数据关系紊乱，给后期的分析处理带来困难。

发明内容

有鉴于此，本发明实施例提供了一种基于电子元器件的数据仓库构建方法及系统，旨在解决现有技术中没有针对电子元器件的数据仓库且电子元器件数据分散存储的问题。

为实现上述目的，本发明实施例的第一方面提供了一种基于电子元器件的数据仓库构建方法，包括：

步骤A，获取电子元器件数据源，并将所述电子元器件数据源中的数据存储在数据源缓存中；

步骤B，从数据源缓存中获取待抽取处理数据，并根据所述待抽取处理数据中电子元器件的特征进行分类，根据不同的类别进行特征抽取，并将抽取的特征数据存储在第一缓存中；

步骤C，从所第一缓存中获取待转换数据，根据所述待转换数据进行数据格式转换，并将转换后的数据存储在第二缓存中；

步骤D，从所述第二缓存中获取待装载数据，将所述待装载数据转存到数据仓库中；

所述步骤B、所述步骤C和所述步骤D进行并行操作。

作为本申请另一实施例，在所述步骤B之后，还包括：

步骤E，从所述第一缓存中获取抽取的特征数据，对所述特征数据进行清洗，并将清洗后的数据存储在第三缓存中；

所述步骤C，从所第三缓存中获取待转换数据，根据所述待转换数据进行数据格式转换，并将转换后的数据存储在第二缓存中；

所述步骤E与所述步骤B、所述步骤C、所述步骤D进行并行操作。

作为本申请另一实施例，所述对所述特征数据进行清洗，并将清洗后的数据存储在第三缓存中，包括：

对所述特征数据进行清洗，将清洗后的合格数据存储在第三缓存中，对清洗得到的不合格数据直接存储在所述第二缓存中。

作为本申请另一实施例，所述根据所述待抽取处理数据中电子元器件的特征进行分类，包括：

对所述待抽取处理数据中的电子元器件进行器件种类分类；

对每一器件种类中的电子元器件进行特征分类。

作为本申请另一实施例，所述器件种类至少包括：固态微波器件、电真空器件、军用电源、微特电机、混合集成电路和光电器件；

所述特征至少包括以下一种：器件属性、参数、数据分析、数据关联和可靠性预计；