[发明专利]一种用于非结构化数据的采集方法及其系统

说明书

本发明涉及数据采集存储技术领域，特别涉及一种用于非结构化数据的采集方法及其系统；本发明将收集的非结构化数据进行分种类贴标签，且对贴完标签的不同种类的数据设置不同的抽取机制与转换机制，将非结构化数据转换为结构化数据再传送至存储模块内进行存储；本发明有效地提高了非结构化数据的采集与管理。

技术领域

本发明涉及数据采集存储技术领域，特别涉及一种用于非结构化数据的采集方法及其系统。

背景技术

非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据(如数字、符号等信息)而且更适合处理非结构化数据(全文文本、图象、声音、影视、超媒体等信息)。

相对于结构化数据(即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据)而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等。

现有技术中非结构化数据采集难的问题根源在于非结构化的数据很难按照不同数据源类别采集。

发明内容

本发明主要解决的技术问题是提供了一种用于非结构化数据的采集方法，其将收集的非结构化数据进行分种类贴标签，且对贴完标签的不同种类的数据设置不同的抽取机制与转换机制，将非结构化数据转换为结构化数据再传送至存储模块内进行存储；还提供了一种用于非结构化数据的采集系统。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种用于非结构化数据的采集方法，其中，包括如下步骤：

步骤S1、收集非结构化的数据源；

步骤S2、将不同的数据进行分种类贴标签；

步骤S3、对贴标签的不同种类的数据设置不同的抽取机制；

步骤S4、对不同的抽取机制设置不同的转换机制，从而对数据进行结构化数据转换；

步骤S5、对完成转换的数据进行传送；

步骤S6，接收传送过来的数据进行存储。

作为本发明的一种改进，在步骤S2内，将不同的数据依次按照国际标准、国家标准、地区标准、行业标准进行统一标准化管理。

作为本发明的进一步改进，在步骤S2内，将不同的数据按照行业分类或性质分类或品种分类或主题分类，再进行贴标签。

作为本发明的更进一步改进，在步骤S1内，非结构化的数据源包括音频数据、图片数据、文本数据、视频数据、电子邮件、社交媒体数据、网站数据、移动通讯数据、数字监控数据和传感器数据。

作为本发明的更进一步改进，在步骤S3内，针对文本类型数据，将文本原样的保存抽取保存至目标服务器。

作为本发明的更进一步改进，在步骤S3内，针对文本类型数据，将文本数据按照指定的规则转换成对应的结构化数据抽取之后保存对目标服务器。

作为本发明的更进一步改进，在步骤S4内，转换机制包括转换规则、转换机制的定义与转换作业的执行。

作为本发明的更进一步改进，在步骤S5内，对需要实时传输的数据，采用实时传输技术进行传送。

一种用于非结构化数据的采集系统，其中，包括：

收集模块，用于收集非结构化的数据源；

贴标签模块，用于将不同的数据进行分种类贴标签；

抽取模块，用于对贴标签的不同种类的数据设置不同的抽取机制；