[发明专利]一种分析非结构化数据的方法及系统

说明书

本发明公开一种分析非结构化数据的方法和系统，该方法包括：读入目标数据源，解析目标数据源数据获得提取字段列表；生成搜索规则和搜索表达式，将搜索规则添加到历史字段规则映射库用以后续学习；根据目标数据源确定解析后的结构化数据的表结构，保存所述表结构；基于所述搜索规则和搜索表达式从目标数据源中解析获得字段信息，按照所述表结构保存获得的字段信息，得到结构化数据。本发明所述方法和系统，明显降低了对非结构化数据的处理成本，减少了信息损失，提高了对数据的分析提取效率，因此具有明显的技术优势和有益效果。

技术领域

本发明涉及数据分析领域，尤其涉及一种分析非结构化数据的方法及系统。

背景技术

大数据时代，每时每刻也都在产生大量的数据，我们需要更加全面的对收集到的庞大的数据信息进行分析处理，从中分析和挖掘出有价值的信息。现有技术中，由于采集的原始数据往往是非结构化数据，对这些原始数据使用之前还需要进行大量的数据清洗、数据加工的工作，在这个过程中也丢失了一些信息，导致信息损失严重，并且效率也不高。如何对这些原始数据进行高效的分析和提炼始终是本领域的一个困扰。

发明内容

本发明的目的在于克服现有技术中存在的上述缺陷，提供一种分析非结构化数据的方法和系统，用于解决现有技术中存在的数据分析的效率低且信息损失严重的问题。

为达到上述目的，本发明第一方面公开一种分析非结构化数据的方法，其特征在于，所述方法包括：S1：读入目标数据源，解析目标数据源数据获得提取字段列表；S2：生成搜索规则和搜索表达式，将搜索规则添加到历史字段规则映射库用以后续学习，其中，所述生成搜索规则的方法包括：从所述提取字段列表中选择提取字段组合，结合历史字段规则映射库的字段-规则表达式映射关系进行学习，生成预测搜索规则候选名单，根据所述预测搜索规则候选名单选择最佳合适的候选搜索规则，生成搜索规则；S3：根据目标数据源确定解析后的结构化数据的表结构，保存所述表结构；S4：基于所述搜索规则和搜索表达式从目标数据源中解析获得字段信息，按照所述表结构保存获得的字段信息，得到结构化数据。

进一步的，所述S4之后还包括对所述结构化数据进行存储。

进一步的，所述搜索表达式采用SPL搜索处理语言格式表示。

进一步的，所述解析目标数据源数据获得提取字段列表的方法包括二次搜索解析，所述二次搜索解析是指对搜索结果数据进行二次解析运算。

进一步的，所述二次解析计算包括正则表达式、Eval计算。

进一步的，所述S4中，获得字段的方法包括：正则表达式方法、固定分隔符方法、JSON方法、键值对方法、XML方法。

本发明第二方面公开一种分析非结构化数据的系统，具体包括：初级解析模块：用于读入目标数据源，解析目标数据源数据获得提取字段列表；搜索参数构建模块：用于生成搜索规则和搜索表达式，将搜索规则添加到历史字段规则映射库用以后续学习；表结构构建模块：用于根据目标数据源确定解析后的结构化数据的表结构，保存所述表结构；数据提取模块：用于基于所述搜索规则和搜索表达式从目标数据源中解析获得字段信息，按照所述表结构保存获得的字段信息，得到结构化数据；历史字段规则映射库：用于提供搜索规则的存储和获取服务。

进一步的，还包括SPL搜索接口模块，用于对SPL语言进行解析和处理。

进一步的，还包括二次搜索解析模块，用于对搜索结果数据进行二次解析运算。

本发明第三方面还公开一种电子设备，所述设备包括处理器以及存储器，其中，所述存储器用于存储可执行程序,所述处理器用于执行所述可执行程序以实现本发明第一方面所述一种分析非结构化数据的方法。

在对非结构化数据的使用中利用本发明公开的方法和系统进行分析提取，相比现有技术至少存在以下优势：