[发明专利]基于构建快速数据分级通道的数据处理方法及其装置

权利要求书

1.一种基于构建数据分级通道的数据处理方法，步骤包括：

（1）识别原始数据，比对识别出的数据是否符合相应的协议格式或要求，对其分类，并根据分类结果输送到对应的数据传输通道；所述数据传输通道包括一数据分级通道，负责传输优先权数据；

（2）根据集群设备信息判断通道数据的类型、数据量，根据预存的调度策略调用数据入库装置；

（3）数据入库装置获取通道数据，录入数据库，并保存。

2.如权利要求1所述的数据处理方法，其特征在于，所述数据传输通道还包括大日志数据传输通道和重要数据传输通道。

3.如权利要求1所述的数据处理方法，其特征在于，步骤（3）所述的获取通道数据，包括主动获取和被动获取。

4.如权利要求3所述的数据处理方法，其特征在于，所述主动获取是通过判断获取方式及配置文件内容，主动读取通道中的数据源，将数据入库。

5.如权利要求3所述的数据处理方法，其特征在于，所述被动获取是由数据传输私有工具、商用传输工具，或开源传输工具进行由接入方到数据入库装置的数据搬运，然后进行入库操作。

6.一种基于构建数据分级通道的数据处理装置，其特征在于，包括

一数据筛选器，对原始数据进行识别、分类过滤，将结果数据输出到对应的通道；

至少一数据传输通道，包括一数据分级通道，对过滤的高优先级数据放行；

一调度平台，根据从数据传输通道和数据入库装置获取的信息，利用调度策略动态分配设备及调用通道数据；以及

一数据入库装置，从调度平台获取数据源，录入数据库。

7.如权利要求6所述的数据处理装置，其特征在于，所述数据筛选器包括识别器、规则库和分类器；所述识别器对原始数据进行初步识别，所述规则库对初步识别后的原始数据进行匹配，将匹配后的结果发给分类器，所述分类器进行数据分批、分类、分级划分，输出到相应通道。

8.如权利要求7所述的数据处理装置，其特征在于，所述规则库中的规则包括数据的大小、类型类别、实效性、关键字或标签、重要程度。

9.如权利要求7所述的数据处理装置，其特征在于，所述调度平台包括缓存模块和调度模块；所述缓存模块中预置有调度策略，并用于存放数据通道信息和数据入库装置信息；所述调度模块对缓存模块中的数据信息进行分析，选择连接对应的数据入库装置。

10.如权利要求7所述的数据处理装置，其特征在于，所述数据入库装置包括数据获取模块和数据入库模块；

当被动获取数据时，所述数据获取模块将数据接收到指定的存放路径，所述数据入库模块读取该数据文件，进行入库操作；

当主动获取数据时，所述数据入库模块根据配置文件信息建立数据源和数据入库模块的路径，由数据入库模块中的入库程序主动读取数据源进行入库操作。