[发明专利]一种面向海云协同网络计算环境的数据组织方法

说明书

技术领域

本发明涉及物联网、云计算及大数据管理等领域，面向“感知中国”的新一代信息技术研究战略性先导规划中“人-机-物”三元融合型信息社会建设需求，提出了一种适应海云协同网络计算环境的数据组织方法—DataCap(数据胶囊)。

背景技术

随着Internet向物理世界延伸，以物联网为代表的信息化技术加快了世界信息化进程，将人类社会信息网络向物理世界迅速扩展。数亿或者数十亿个传感设备在不断的感知动态变化的物理世界，并彼此连接和整合，通过各类移动通讯设备、计算机与Internet共同构成人类未来信息网络，将涵盖传统人类社会网络和物理世界的绝大部分信息，最终形成人-机-物三元融合型信息世界。这次信息技术产业发展的新浪潮受到国家和各部委普遍重视，而高效地获取并利用物理信息数据，将是我国希望通过建设“感知中国”成为未来社会深度信息化信息强国的重要基础。

海云协同网络计算模式作为面向“感知中国”的新一代信息技术研究战略性先导规划中的核心技术特征被提出并深入研究。该模式综合了云计算、物联网、大数据的特点，概括了泛在感知设备、移动智能终端、未来网络、海量弹性化云端存储与处理的融合特征，是一种人机物融合、海云一体化、以数据服务为目标的新型计算模式。

在人机物融合的时代，海云协同网络计算模式旨在实现人类社会资源的优化配比和和谐发展，但同时也会产生并积累巨大的数据量。据预测，三元融合带来的信息量将远远超过现有的人类社会信息，达到数十倍以上。伴随着数据规模的爆炸式增长，数据的获取方式、表现形态、相互关系、存取速度和语义演化都发生了一系列根本变化，给目前的海量信息处理技术带来了前所未有的挑战。

依赖于传统数据组织技术难以满足海云协同网络环境下大数据处理需求。比如起源于70年代的关系数据库(DBMS)，采用集中式设计，不利于分布式协同计算环境。最近几年内随着云计算和大数据技术提出的键-值模型以及列存储系统一定程度上缓解了海量数据并行处理问题，但其在海云协同网络数据管理上还存在诸多的局限性，具体体现在：

1）现有云计算与大数据技术中的数据组织架构不适用于海云协同网络环境。具体体现在，现有云计算和大数据技术遵循“大数据中心”(big centralized datacenter)+XaaS，属于数据集中型(data intensive)架构，难以直接匹配海云协同网络计算环境中海端以及海云协同特性，无法利用海端的局部计算能力与网络的任务协同分发能力，造成信息社会基础设施资源的不必要浪费。

2）现有云计算与大数据技术中的数据组织方式不适用于海云协同网络环境。主要体现在三个方面：a)所处理的数据局限于非结构化的文本数据(raw string data)形式，数据表征方式太过简单，但是由终端和用户产生的数据格式越来越丰富，如社交、数码、通讯、行程、娱乐等；b)支持的数据操作很少，以关键词查询为主，缺乏对丰富的数据语义与关联关系的表征与检索能力，比如难以支持普遍存在的Join类操作；c)性能上很难优化，处理过程的时间复杂度很少有低于O(n)的，且随着数据规模增长“云”的维护成本在增高，比如分布式缓存(cache)命中率将极低。

在海云协同网络计算环境中，数据组织任务具有一些新的特性，具体体现为：

1.数据自然地生成及存储在海云两端。不仅云端需要集中管理数据，海云两端都可以有数据，且可以是通过网络进行快速分发与交换的。计算任务的第一件工作就是向计算单元复制数据，计算完毕生成的新的数据再写回；现有云计算与大数据(如Hadoop)数据组织模式主要适用于分布式批处理集中分析场景，但难以适用于分布式的低延迟海云协同计算场景中数据组织需求。

2.数据的组织形态正逐渐呈现多样化与个性化趋势。随着硬件处理能力与计算技术发展，正逐渐形成以数据为核心的应用发展态势。在这些应用的特征之一是屏蔽数据的原生型态(如文件系统)，比如手机操作系统中主要管理照片、音乐、通讯录、邮件等，对用户屏蔽了文件系统；Web操作系统和远程工作环境上的应用也是根据数据应用定制的，如在线文档(online doc)，邮件引擎(Email engine)。总的来说，数据正在逐渐组织为个性化定制的“使用形态”而非单一的“生成形态”。