[发明专利]一种数据采集系统

权利要求书

1.一种数据采集系统，其特征在于，包括：采集数据服务模块、KAFKA消息队列、SPARK分布式处理计算模块、以及Elasticsearch全文搜索引擎中间件，其中，

采集数据服务模块通过python语言开发，利用对不同数据源预先封装的驱动类以参数形式调用数据并进行处理后发送至KAFKA消息队列的指定分区；

KAFKA消息队列包括多个分区，用于存放不同种类的数据；

SPARK分布式处理计算模块采用spark streaming对KAFKA中的数据进行轮询计算，并将计算后的数据写入Elasticsearch全文搜索引擎中间件；

Elasticsearch全文搜索引擎中间件存储所述SPARK分布式处理计算模块计算后的数据并为其创建索引。

2.根据权利要求1所述的数据采集系统，其特征在于，所述采集数据服务模块，包括：

数据源连接模块，用于利用对不同数据源预先封装的驱动类以参数形式调用相应的数据源的数据；

数据处理模块，用于将从各个数据源获取的数据进行解析，并将解析后的数据打上相应的标签；

数据推送模块，用于拉取数据并发送至KAFKA消息队列的指定分区。

3.根据权利要求2所述的数据采集系统，其特征在于，所述数据推送模块，包括：

主题单元，用于根据拉取的数据记录的标签确定KAFKA消息队列的主题；

哈希单元，用于对拉取的数据记录的key计算hash值；

取模单元，用于利用所述hash值对KAFKA所有分区进行取模运算，确定所确定的KAFKA消息队列的主题下的分区位置。

4.根据权利要求2所述的数据采集系统，其特征在于，所述数据处理模块，用于：

对于EXCEL文件数据类型，获取文件列表后将每个sheet作为单个文件，分别将每个sheet的第一行作为字段名称，将数据解析成python字典型数据后进行打标签处理，再转化为json数据；

对于CSV文件数据类型，将传递的-format参数作为分隔符，将第一行header作为字段名称，将数据解析成python字典型数据后进行打标签处理，再转化为json数据；

对于TXT文件数据类型，将该类型数据解析转化为数组型数据，在判断数据长度为传入参数时将其转化为json数据。

5.根据权利要求2所述的数据采集系统，其特征在于，所述数据源连接模块，包括：

隧道验证单元，用于通过安全外壳协议SSH安全隧道验证数据源；

下载单元，用于在确定有*.ok文件存在时，利用对不同数据源预先封装的驱动类以参数形式调用相应的数据源的数据，下载文件到本地文件缓存路径。

6.根据权利要求1所述的数据采集系统，其特征在于，所述KAFKA消息队列根据数据源的不同预先创建有多个主题，每个主题有多个分区，每个分区存放同一类数据，不同分区存放的数据类型不同。

7.根据权利要求1所述的数据采集系统，其特征在于，所述SPARK分布式处理计算模块，包括：

接收单元，用于采用spark streaming对KAFKA中的数据轮询，接收从KAFKA流入的数据；

分片单元，用于将流入的数据按预设时间间隔进行切片，生成弹性分布式数据集RDD；

计算单元，用于对所述弹性分布式数据集RDD进行操作，得到分析数据；

写入单元，用于将分析数据写入Elasticsearch全文搜索引擎中间件。