[发明专利]一种大数据交换方法及装置、系统

说明书

技术领域

本发明涉及通讯技术领域，尤指一种大数据交换方法及装置、系统。

背景技术

目前大数据成为当前业界的技术热点，特别是随着云计算业务的部署，大数据作为其最重要的业务应用，其发展前景被寄予厚望。

大数据的主要特点是体量大(Volume)、种类多(Variety)、速度快(Velocity)以及价值高(Value)等特点，并同时伴随着多源、异构以及海量的数据特征。

大数据所涉及的数据类型包括结构化(Structured)、半结构化(Semi-Structured)以及非结构化(Un-Structured)等类型，这要求大数据交换系统可以针对这些不同数据类型进行区分和处理，比如对于结构化的数据库数据的采集、异常数据清理以及ETL(数据提取、数据转换以及数据加载)等，对于半结构化数据以及非结构化数据的增量实时采集、解析、注释、异常数据清理、数据分割、特征提取、存储和/或缓存以及批量非实时处理等。

大数据所涉及的数据对象包括文字、语音、视频、图像、网页、传感器数据等，这也就要求大数据交换系统可以有针对性地区分和处理不同数据对象所对应的数据承载格式，比如：文本文件、音频文件、适配文件、图像文件、网页文件、传感器数据文件以及相应的实时/准实时流媒体数据等不同格式。

尽管目前大数据正在逐步应用于各个行业，但是随着数据体量的逐步增加，所涉及数据种类的日益繁杂，所生成速度的迅速提升以及对于其潜在价值利用的需求增强，当前大数据正遭遇一些新的困境以及面临新的挑战，特别是：

1)大数据的孤岛性导致大数据无法开放、共享以及互联，从而降低了大数据用户共享不同产业甚至相同产业不同部门数据的可能性；

2)对于具有巨大潜在价值的大体量的大数据缺乏价值衡量手段和货币化手段，从而削弱了数据拥有者开放数据的积极性；

3)已有公共数据的开放不足阻碍了公共社会资源对于可能的社会生活以及经济活动的贡献性；

4)缺乏有效的商业模式，特别是高效的数据交换机制，阻止了数据拥有者和数据用户之间安全有效地进行数据交换；

5)互连互通标准的缺乏也无法保障大数据提供商和大数据业务提供商之间进行互连。

为从大体量的、种类繁多的、高速变化的大数据中充分挖掘出大数据巨大的潜在价值，以上所遭遇的各种问题以及相关挑战，均需要通过有效的方法以及相应的系统架构来有针对性地给予解决。

在国际上，早前国际电信联盟(ITU)以及国际标准化组织(ISO|IEC)都已经或者即将发布大数据需求和框架标准，但在这些标准中均尚未涉及如何解决因大数据的孤岛性而导致大数据无法开放共享和互联互通的问题。相应地，目前国际电信联盟(ITU)正在开展的大数据交换需求和框架标准(ITU-TY.BigDataEX-reqts)旨在解决该问题。因此，需要一种大数据直接交换模型及其实现方法，以至少解决大数据应用中的开放共享和互联互通的问题，以加速该方面的课题研究及其国际标准化进程，从而实现大数据的开放性、互联性以及共享性，并充分调动孤立且不活跃的大数据参与到大数据交易活动中，为生产和生活所用以及创造大数据所应有的价值。

发明内容

为了解决上述技术问题，本发明提供了一种大数据交换方法及装置、系统，能够有效的解决大数据的开放共享和互联互通等问题。

为了达到本发明目的，本发明提供了一种大数据交换方法，包括：

大数据源单元与大数据目标单元通过搜集接口交换初始数据和初始元数据；

和/或，所述大数据源单元与所述大数据目标单元通过互连接口交换加工数据和加工元数据；

和/或，所述大数据源单元与所述大数据目标单元通过消费接口交换加工数据和加工元数据；

所述大数据源单元包括：数据提供者模块和/或第一大数据业务提供者模块；所述大数据目标单元包括：第二大数据业务提供者模块和/或大数据业务消费者模块；

所述数据提供者模块用于提供所述初始数据和初始元数据；所述第一大数据业务提供者模块和所述第二大数据业务提供者模块用于进行大数据处理得到所述加工数据和加工元数据；所述大数据业务消费者模块用于使用所述加工数据和加工元数据。

其中，所述交换初始数据和初始元数据，包括：

所述大数据源单元将数据提供者模块产生的初始数据以及初始元数据提供给大数据目标单元中的第二大数据业务提供者模块；大数据目标单元的第二大数据业务提供者模块接收并存储和/或缓存所述初始数据以及初始元数据并对所述初始数据进行大处理。