[发明专利]一种支持非结构化数据的采集分析系统和方法

说明书

本发明公开了一种支持非结构化数据的采集分析系统，包括：数据采集模块，用于获取Web页面上传的数据作为第一数据，对所述第一数据进行校验，得到第二数据，将第二数据存入非结构化数据库中；数据处理模块，用于从非结构化数据库中抽取第二数据，对第二数据进行数据清洗，得到第三数据，然后将第三数据存入结构化数据库中；数据分析模块，用于对非结构化数据库中的数据或者结构化数据库中的数据进行分析处理。本发明采用非结构数据库对原始数据进行存储，然后逐步将原始数据处理为结构化的数据并存储在结构化数据库中，使得本系统可以有助于减轻Web应用的负载压力，提升非结构化数据处理的效率。本发明可以广泛应用于数据处理技术。

技术领域

本发明涉及数据处理技术，尤其是一种支持非结构化数据的采集分析系统和方法。

背景技术

目前，依赖于大数据技术的高速发展，越来越多的Web应用被用户所使用，使得Web应用数据量的快速增长。随着Web应用吞吐量的增大，传统的数据存储方式已经不能满足当前的需求，因而促使了大数据量存储技术的产生。但是，目前大多数的Web分析系统采用结构化的数据库，这些系统都不能够方便地对非结构化的数据进行存储和分析，其要求Web应用对采集的数据进行预处理，输出与数据库结构相同的数据格式，增大了Web应用的负载压力。因此有必要对现有技术进行改进。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种支持非结构化数据的采集分析系统和方法。

本发明所采取的第一种技术方案是：

一种支持非结构化数据的采集分析系统，包括：

数据采集模块，用于获取Web页面上传的数据作为第一数据，对所述第一数据进行校验，得到第二数据，将第二数据存入非结构化数据库中；

数据处理模块，用于从非结构化数据库中抽取第二数据，对第二数据进行数据清洗，得到第三数据，然后将第三数据存入结构化数据库中；

数据分析模块，用于对非结构化数据库中的数据或者结构化数据库中的数据进行分析处理。

进一步，所述非结构化数据库为MongoDB数据库，所述结构化数据库为MySQL数据库。

进一步，所述数据采集模块包括数据录入单元，所述数据录入单元用于采集用户输入的数据作为第一数据。

进一步，所述非结构化数据库中以文档作为存储单位。

进一步，所述对第二数据进行数据清洗，得到第三数据，其具体包括：

获取结构化数据库的第一表结构；

获取第二数据的第二表结构；

根据第一表结构，删除第二表结构中的无效字段的数据，得到第三数据；所述无效字段是指第一表结构中不存在的字段。

进一步，所述数据处理模块按照设定周期从非结构数据库中抽取第二数据。

本发明所采取的第二种技术方案是：

一种支持非结构化数据的采集分析方法，包括以下步骤：

获取Web页面上传的数据作为第一数据；

对所述第一数据进行校验，得到第二数据；

将第二数据存入非结构化数据库中；

从非结构化数据库中抽取第二数据；

对第二数据进行数据清洗，得到第三数据；

将第三数据存入结构化数据库中。

进一步，所述非结构化数据库为MongoDB数据库，所述结构化数据库为MySQL数据库。