[发明专利]一种具有网络属性的多源数据的整合存储系统及方法

说明书

本发明公开了一种具有网络属性的多源数据的整合存储系统及整合存储方法，该系统中通过数据初步处理部将多源数据整理为关系型数据，从而为后续的进一步筛选处理做好准备，再通过属性合规处理部和属性深度处理部对所述关系型数据的各个属性作出进一步清洗处理，将其中不符合要求的数据修改成规范数据，删除其中无法修改成规范数据的数据和错误数据，即去掉了不合规及非法的数据，并将清洗后形成纯净的可用的数据存储在只读系统中，从而使得所述多源数据变为可用的数据。

技术领域

本发明涉及数据的整合处理系统，尤其是多源数据的整合处理存储系统，具体涉及一种多数据源整合存储系统及整合存储方法。

背景技术

随着大数据时代的来临，数据的使用和分析越来越受到人们的关注，但是关于数据的使用有一个不可规避的问题，即数据的来源很多，导致各种来源的数据形式、格式是不同的，难以统一，所以也就难以直接拿来使用，以免给程序带来过多的负面影响，造成不必要的麻烦，但是如果舍弃这部分数据还会导致数据浪费，降低分析的准确性，所以如何能够在造成较小系统影响的情况下合理利用这些多源数据就显得极为重要和困难，目前，关于如URL、终端品牌、IP地址、mac地址等网络属性数据还没用良好的数据筛查处理方法，面对较大的网络属性数据时，往往难以顺利地分选出其中的可用数据，所以据此所做的数据分析的准确性仍然有待提高。

由于上述原因，本发明人对现有的数据分析处理方法和系统做了分析研究，以便设计出一种能够解决上述问题的新的多数据源整合存储系统及整合存储方法。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种多数据源整合存储系统及整合存储方法，该系统中通过数据初步处理部将多源数据整理为关系型数据，从而为后续的进一步筛选处理做好准备，再通过属性合规处理部和属性深度处理部对所述关系型数据的各个属性作出进一步清洗处理，将其中不符合要求的数据修改成规范数据，删除其中无法修改成规范数据的数据和错误数据，即去掉了不合规及非法的数据，并将清洗后形成纯净的可用的数据存储在只读系统中，从而使得所述多源数据变为可用的数据，从而完成本发明。

具体来说，本发明提供一种具有网络属性的多源数据的整合存储系统，该系统包括原始数据部001、数据初步处理部002、初步数据存储部003、数据清理处理部004和只读系统部005；

其中，所述原始数据部001用于存放获取的数据，并将获取到的数据传输给数据初步处理部002；

所述数据初步处理部002用于将原始数据部001中的数据转化为关系型数据，并将之存储在初步数据存储部003中；

所述初步数据存储部003，其用于存储经数据初步处理部002处理过的数据，并将该数据传递给数据清理处理部004；所述初步数据存储部003中存储的数据所具有的属性包括URL、终端品牌、IP地址和mac地址等；

所述数据清理处理部004包括：

属性合规处理部041，其用于检查并处理来自初步数据存储部003数据的常规性，并根据检查并处理的结果将数据标记为合规数据或者不合规数据；和

属性深度处理部042，其用于检查合规数据的深层次合规性，并将符合深层次合规性要求的数据传输至只读系统部005；

所述只读系统部005用于存储经过数据清理处理部004处理后的数据。

其中，所述数据初步处理部002包括：

常规数据处理模块021，其用于处理来自原始数据部001的常规数据，

非常规数据处理模块022，其用于处理来自原始数据部001的非常规数据；和