[发明专利]基于元数据的大数据集成系统

说明书

本发明公开了一种基于元数据的大数据集成系统，该系统包括：数据采集层、数据加工层和数据发布层；其中，所述数据采集层位于整个系统的最底层，完成数据的采集和获取工作；所述数据加工层是整个系统中最为核心的业务层，根据服务需求对所述数据发布层提交的查询请求进行响应；所述数据发布层向所述数据加工层发送查询请求，并将处理结果数据反馈至物联网应用终端。本发明方案引入XML编程技术，利用该语言的内容自描述性、跨平台性及可扩展性的特点，实现了静态结构化异构基础数据与动态非结构化异构数据的有效集成。

技术领域

本发明属于大数据集成技术领域，涉及一种基于元数据的大数据集成系统。

背景技术

随着交通建设工作的全面快速推进，交通问题日益突出，交通基础设施利用率不均导致的高能耗和高污染等问题愈演愈烈。

智能交通系统(Intelligent Traffic System，ITS)是“互联网+交通”的核心解决方案之一，ITS应用物联网、互联网和自动化控制等现代化技术，建立了以车、路、人为核心的信息化和智能化的综合交通信息管理系统。

综合智能交通系统能够为城市交通提供智慧决策参考，但智慧决策的计算需要大量的交通基础数据，且这些交通数据不仅具有较短的时效性，同时类型也多种多样，由此引入了新的问题：在满足智能交通系统时效性和移动性的前提下，如何将海量异构数据进行合理有效的集成，并为交通系统的运行提供及时有效的服务。

发明内容

本发明目的在于提供一种基于元数据的大数据集成系统，针对如何及时并有效地对综合智能交通系统所采集的多源异构数据进行有效集成的问题，引入XML编程技术，利用该语言的内容自描述性、跨平台性及可扩展性的特点，将综合智能交通系统中两类重要数据：静态结构化异构基础数据与动态非结构化异构数据进行有效集成，实现了为综合智能交通系统提供多维度及多层面的智慧决策信息，从而提高了城市交通基础设施的有效利用率。

为解决上述技术问题，本发明采用如下的技术方案：一种基于元数据的大数据集成系统，该系统包括：数据采集层、数据加工层和数据发布层；其中，所述数据采集层位于整个系统的最底层，完成数据的采集和获取工作；所述数据加工层是整个系统中最为核心的业务层，根据服务需求对所述数据发布层提交的查询请求进行响应；所述数据发布层向所述数据加工层发送查询请求，并将处理结果数据反馈至物联网应用终端。

进一步地，所述数据采集层所采集的数据分为两类，静态结构化异构数据和动态非结构化异构数据；其中，所述静态结构化异构数据来源于不同交通部门现有的异构静态交通数据库；所述动态非结构化异构数据来源于交通节点上所使用的传感器，从数据格式到存储方法都存在较大差异。

进一步地，所述数据加工层由数据组织子模块与数据查询子模块两部分组成。

进一步地，所述数据组织子模块基于XML技术，对所有数据源数据建立元数据库形式的全局字典。

进一步地，所述数据查询子模块用于接收所述数据发布层提交的查询请求，对查询结果进行数据合成，并将结果返回给所述数据发布层。

进一步地，所述数据发布层负责接收用户终端发送的服务需求，将需求转换成为查询请求，提交到所述数据加工层，待所述数据加工层返回封装好的结果数据后，通过多渠道发送至用户终端上。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对如何及时并有效地对综合智能交通系统所采集的多源异构数据进行有效集成的问题，引入XML编程技术，利用该语言的内容自描述性、跨平台性及可扩展性的特点，将综合智能交通系统中的静态结构化异构基础数据与动态非结构化异构数据进行有效集成，为综合智能交通系统提供多维度及多层面的智慧决策信息，提高了城市交通基础设施的有效利用率。

附图说明