[发明专利]针对非结构化数据的图书馆海量数据分析与决策系统

说明书

本发明公开了一种针对非结构化数据的图书馆海量数据分析与决策系统，该系统包括：非结构化数据采集模块、大数据并行计算模块、大数据并行分析模块以及非结构化数据决策模块；其中，所述非结构化数据采集模块负责采集海量异构的非结构化数据、初级处理并远程传输所采集数据；所述大数据并行计算模块主要完成所述非结构化数据采集模块传输的海量数据的存储、索引、计算分析及Hadoop计算管理操作，将计算结果提交给所述大数据并行分析模块；所述大数据并行分析模块负责非结构化数据维度与度量的自定义、分析并展示结果；所述非结构化数据决策模块利用所述大数据并行分析模块的分析结果为图书馆提供科学的数据决策支持。

技术领域

本发明属于大数据分析技术领域，涉及一种针对非结构化数据的图书馆海量数据分析与决策系统。

背景技术

随着互联网、云计算、传感器网络和高速移动传输技术的发展，全世界数据环境呈现海量(Volume)、多类型(Variety)、快速(Velocity)、价值(Value)和真实(Veracity)的5“V”特性。据IDC监测显示，全球数据总量约每两年翻一番，预计到2020年，全球的数据总量将达到35ZB，预示着世界已进入大数据时代。

大数据时代，图书馆的IT系统组织结构与读者服务模式发生着巨大的变革，导致图书馆的数据结构已由传统的以二维表结构来逻辑表达服务、业务、交易、客户信息等方面的结构化数据为主，转变为以文本、传感器数据、地理空间数据、音频、图像、邮件和视频等非结构化数据为主。据GartnerGroup公司统计，如今80％的数据为非结构化数据，并且这些数据每年按指数增长60％，因此，非结构化数据已逐渐成为图书馆大数据的主体。这些海量的非结构化数据中包含着巨大的价值，是图书馆准确发现读者需求和服务模式变革的决策依据。

但非结构化数据特有的复杂性、多样性、异构性和不可控性，大幅增强了图书馆大数据的采集、提取、处理和存储的难度，因此，如何科学、高效地采集、管理和应用非结构化数据，已成为关系图书馆服务模式变革、服务生产力提升、服务质量保障和读者阅读满意度保证的重要内容。

发明内容

本发明目的在于提供一种基于Hadoop的图书馆非结构化大数据分析与决策系统，为了克服传统的图书馆数据管理平台无法准确描述和高效存储及管理非结构化数据的问题，通过以“数据驱动”作为非结构化大数据分析和决策依据，不断加强非结构化大数据在采集、噪音过滤、价值提取和存储中的可用性与可控性管理，有效地提升了非结构化数据的实时分析、人机互动、科学评估和反馈优化水平，以及图书馆大数据决策的科学性和可用性水平，实现了为个性化读者阅读活动提供可靠的大数据决策支持。

为解决上述技术问题，本发明采用如下的技术方案：一种针对非结构化数据的图书馆海量数据分析与决策系统，该系统包括：非结构化数据采集模块、大数据并行计算模块、大数据并行分析模块以及非结构化数据决策模块；其中，所述非结构化数据采集模块负责采集海量异构的非结构化数据、初级处理并远程传输所采集数据；所述大数据并行计算模块主要完成所述非结构化数据采集模块传输的海量数据的存储、索引、计算分析及Hadoop计算管理操作，实现非结构化大数据的快速并行计算，并将计算结果提交给所述大数据并行分析模块；所述大数据并行分析模块负责非结构化数据维度与度量的自定义、分析并展示结果；所述非结构化数据决策模块利用所述大数据并行分析模块的分析结果为图书馆的战略决策、系统管理和服务质量保障提供科学的数据决策支持。

进一步地，所述非结构化数据采集模块具有多类型终端、实时采集、动态处理和远程传输的特点。

进一步地，所述大数据并行分析模块由图书馆数据分析师通过对非结构化数据维度与度量的自定义，由Hadoop分析集群完成对非结构化数据的并行分析，并将分析结果传输至报表展示中心进行可视化表现。

本发明与现有技术相比具有以下的有益效果：