[发明专利]一种用于非结构化数据的采集方法及其系统

权利要求书

1.一种用于非结构化数据的采集方法，其特征在于，包括如下步骤：

步骤S1、收集非结构化的数据源；

步骤S2、将不同的数据进行分种类贴标签；

步骤S3、对贴标签的不同种类的数据设置不同的抽取机制；

步骤S4、对不同的抽取机制设置不同的转换机制，从而对数据进行结构化数据转换；

步骤S5、对完成转换的数据进行传送；

步骤S6，接收传送过来的数据进行存储。

2.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S2内，将不同的数据依次按照国际标准、国家标准、地区标准、行业标准进行统一标准化管理。

3.根据权利要求2所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S2内，将不同的数据按照行业分类或性质分类或品种分类或主题分类，再进行贴标签。

4.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S1内，非结构化的数据源包括音频数据、图片数据、文本数据、视频数据、电子邮件、社交媒体数据、网站数据、移动通讯数据、数字监控数据和传感器数据。

5.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S3内，针对文本类型数据，将文本原样的保存抽取保存至目标服务器。

6.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S3内，针对文本类型数据，将文本数据按照指定的规则转换成对应的结构化数据抽取之后保存对目标服务器。

7.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S4内，转换机制包括转换规则、转换机制的定义与转换作业的执行。

8.根据权利要求1所述的一种用于非结构化数据的采集方法，其特征在于，在步骤S5内，对需要实时传输的数据，采用实时传输技术进行传送。

9.一种用于非结构化数据的采集系统，其特征在于，包括：

收集模块，用于收集非结构化的数据源；

贴标签模块，用于将不同的数据进行分种类贴标签；

抽取模块，用于对贴标签的不同种类的数据设置不同的抽取机制；

转换模块，用于对不同的抽取机制设置不同的转换机制，从而对数据进行结构化数据转换；

传送模块，用于对完成转换的数据进行传送；

存储模块，用于接收传送过来的数据进行存储。

10.根据权利要求9所述的一种用于非结构化数据的采集系统，其特征在于，所述存储模块对不同种类的数据按照不同的存储方式进行存储。