[发明专利]一种数据采集系统

说明书

一种数据采集系统，包括：采集数据服务模块、KAFKA消息队列、SPARK分布式处理计算模块、以及Elasticsearch全文搜索引擎中间件，采集数据服务模块通过python语言开发，利用对不同数据源预先封装的驱动类以参数形式调用数据并进行处理后发送至KAFKA消息队列的指定分区；SPARK分布式处理计算模块采用spark streaming对KAFKA中的数据进行轮询并将计算后的数据写入Elasticsearch全文搜索引擎中间件；Elasticsearch全文搜索引擎中间件存储数据并为其创建索引。采用本申请中的方案，相比于主流的HADOOP平台体系，更轻量、更灵活。

技术领域

本申请涉及广播电视技术，具体地，涉及一种数据采集系统。

背景技术

随着新媒体数据来源越来越多、提供的形式越来越多，电视台的新媒体数据的处理量极大，每天有数百万条数据且要求很高的实时性，接近于实时监测账号的状态。数据处理完成后还要求能通过关键字匹配出相关性高的文章并加以统计。这就要求数据处理系统能够接受数据源多、数据量大且实时性要求高的挑战。

现有的大数据技术架构通常使用flume+kafka+mapreduce+hive的大数据处理架构，该技术是在分布式基础架构上搭建复杂集群，配置复杂的flume，并解决headers域乱码问题后，将数据传入kafka中，mapreduce计算程序去消费kafka消息并计算后存入hive，最后通过查询展示出数据。

现有技术中存在的问题：

面对多种格式的数据源，flume配置复杂且不便于数据源管理，MAPREDUCE计算会因为数据量过大导致在HDFS上读取数据影响数据的实效性，且Hive查询当需要相关性查询Hive无法支撑。

发明内容

本申请实施例中提供了一种数据采集系统，以解决上述技术问题。

本申请实施例提供了一种数据采集系统，包括：采集数据服务模块、KAFKA消息队列、SPARK分布式处理计算模块、以及Elasticsearch全文搜索引擎中间件，其中，

采集数据服务模块通过python语言开发，利用对不同数据源预先封装的驱动类以参数形式调用数据并进行处理后发送至KAFKA消息队列的指定分区；

KAFKA消息队列包括多个分区，用于存放不同种类的数据；

SPARK分布式处理计算模块采用spark streaming对KAFKA中的数据进行轮询计算，并将计算后的数据写入Elasticsearch全文搜索引擎中间件；

Elasticsearch全文搜索引擎中间件存储所述SPARK分布式处理计算模块计算后的数据并为其创建索引。

本申请实施例中提供的数据采集系统，相比于主流的HADOOP平台体系，更轻量、更灵活，轻量在于不需要过多的安装HADOOP中间件；本申请使用python程序取代了flume,降低了多种多样数据源的配置复杂度，使得学习成本极大降低，且整个系统均使用最简单的组件，对服务器性能要求相对较低，使用成本低。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例一中数据采集系统的结构示意图；

图2示出了本申请实施例二中采集数据服务的原理示意图；

图3示出了本申请实施例二中解析样例数据的示意图；

图4示出了本申请实施例二中解析后的数据示意图。

具体实施方式