[发明专利]基于共享缓存的数据采集系统及方法

说明书

本发明涉及大数据技术领域，公开了一种基于共享缓存的数据采集方法，该数据采集方法包括：通过多进程并发形式采集数据，将所述数据存入至第一共享缓存区并封包上传；以及接收封包上传的所述数据，将所述数据存入至第二共享缓存区，并把所述第二共享缓存区内的所述数据写入数据库。本发明不仅可对各种类型的数据进行秒级频率的实时采集与传输，还可保证数据在传输过程中的安全性和完整性，尽可能减轻采集服务器和网络传输的压力。

技术领域

本发明涉及大数据技术领域，具体地涉及一种基于共享缓存的数据采集系统及方法。

背景技术

随着消费互联网的崛起，大数据分析与云计算技术的发展壮大，大数据产业已逐步从概念走向落地，得到了广泛的关注和重视，大数据已然掀起了新一轮商业浪潮。

2017年，大数据正式进入国家战略层面的规划：工信部印发《大数据产业发展规划(2016-2020年)》，特别提出加快推进大数据产业应用能力，到2020年，大数据相关产品和服务业务收入突破1万亿元，年均复合增长率保持30％左右。

国家围绕大数据的政策落地，将进一步提升企业对数据价值的意识，激发数据交易的增量市场规模；在市场方面，各行各业对大数据的依赖性和大数据行业的价值属性越来越高。

大数据和传统的数据相比，特点是数据量大、变化快、种类繁杂、真伪存疑。大数据是对所有目标数据的分析处理，不是传统的抽样分析处理，因而传统的数据采集处理方法已经不适用大数据的采集需求。对于大数据，需要采用新的具有更强的决策力、洞察发现力和流程优化能力的处理模式去处理海量、高增长率和多样化的信息资产。

大数据的采集主要是运用互联网技术进行远程数据采集，通过采集软件在互联网中进行广域的、大规模的、实时的采集和传递，经过多次汇聚和转发，最终发送给大数据平台作为分析和应用的数据源。

大数据的采集过程，主要是将目标数据从各类数据源采集到大数据平台的过程，大数据主要包括两类：一类是从Oracle、PostgreSQL等数据库、管理软件接口、文件、日志等采集的文字类结构化数据；另一类是从电子邮件、音视频、图片、网页、社交媒体等采集的非结构化数据。

目前大数据的采集面临的主要问题是大数据的数据源丰富而且多种多样。比如，结构化数据和非结构化数据的采集方法完全不同，不同类型的数据对实时性的要求也完全不同。具体而言，工业控制系统的生产性数据要求数据实时采集、秒级传输，对采集服务器和传输的网络链路产生持续的巨大压力；而财务类数据要求按周、月或季度定期采集与传输，对采集服务器和传输网络产生周期性冲击的压力，必须考虑数据采集过程中的数据处理问题。尤其是将现场数据的范围放到广域网分布的系统范围之后，大数据总和是多个现场数据的总和，当采集点总量达到TB(兆位元组)甚至PB(千兆位元组)、EB(百万兆位元组)时这个问题更加明显和棘手。

发明内容

本发明的目的是提供一种基于共享缓存的数据采集系统及方法，该数据采集系统不仅可对各种类型的数据进行秒级频率的实时采集与传输，还可保证数据在传输过程中的安全性和完整性，尽可能减轻采集服务器和网络传输的压力。

为了实现上述目的，本发明提供一种基于共享缓存的数据采集系统及方法，该数据采集系统包括：数据采集端，用于通过多进程并发形式采集数据，并将所述数据存入至第一共享缓存区并封包上传；以及数据接收端，用于接收封包上传的所述数据，将所述数据存入至第二共享缓存区，并把所述第二共享缓存区内的所述数据写入数据库。

可选的，所述数据采集端还用于：对采集的所述数据进行数据过滤，只有时间戳和数据值同时变化的数据才能存入所述第一共享缓存区。

可选的，所述第一共享缓存区及所述第二共享缓存区只在设定的存储时效期内对所述数据进行存储。

可选的，所述第一共享缓存区及所述第二共享缓存区内的数据结构体采用哈希表的key-value方式存储所述数据。