[发明专利]一种面向虚拟实验的非结构化数据访问方法

说明书

技术领域

本发明属于计算机应用领域，具体涉及一种面向虚拟实验的非结构化数据访问方法，该方法适合于对虚拟实验中存在海量非结构化数据的复杂查询，并提供简单、统一、安全和高效的访问接口。

背景技术

随着信息化程度的提高，数据已超出它原始的范畴，它包含各种业务操作数据、报表统计数据、办公文档、电子邮件、超文本、表格、报告以及图片、音视频等各种数据信息。人们用海量数据来形容巨大的、空前浩瀚的、还在不断增长的数据。根据业界分析报告，非结构化数据占有整个信息量的85％以上，数据量极其庞大，是信息资源管理的核心。

作为传统实验教学的一种有效的补充，虚拟实验教学已经成为加强实践教学、提高教学质量的重要手段，它不仅可以在一定程度上代替传统的实验教学，而且可以克服传统实验的各种制约和弊端，从而有效地解决目前实验教学中迫切需要解决的规模与质量、实验资源不均衡等问题，达到优化教育资源、提高教学质量的目的。

在对虚拟实验中元元器件、实验场景等数据的统一建模、整合已有的虚拟实验资源并开发新的实验的过程中，包含了多种多样的文本、图片、flash、语音、视频等非结构化数据。非结构化数据是指不具有或者具有一定结构但语义不确定的数据，一般为文本、图像文件。在进行虚拟实验的过程中90％以上的数据请求都是这些非结构化数据，对它们的请求频率远高于对用户信息、用户权限等传统关系型数据，这类数据是进行虚拟实验的核心数据。因此，如何有效地组织管理非结构化数据、为上层应用程序数据访问提供支撑，依然是一个有待解决的问题。

非结构化数据包括文本、图像、音频、视频、PDF、电子表格等。非结构化数据存储通常有两种方式，但各自在存储非结构化数据方面存在一些缺点：

将非结构化数据以文件的方式存储在文件系统中，同时将指向文件的链接或路径存储在数据库表中。这种方式数据读写的速度较快，但数据管理会存在问题，无法实现文件的事务性访问，需要额外考虑事务处理的一致性和数据的安全性。

将非结构化数据存储在传统数据库表的二进制大对象字段(BLOB，Binary Large Object)中。这种方式充分利用数据库的事务、管理和安全特性，但在数据查询和读写性能不高，并且用户优化空间比较小。

近年来，为了满足非结构化数据的高效存储访问、高可用和高可扩展性，非关系型数据库技术的受到广泛关注。非关系型数据库打破了长久以来关系型数据库对ACID(Atomicity、Consistency、Isolation以及Durability)理论的依赖需求，数据存储不需要固定的表结构，通常也不存在连接操作。非关系型数据库在大数据存取操作上具备关系型数据库无法比拟的性能优势。目前实施的案例大多是面向Web 2.0应用，针对Web2.0的具体应用场景进行特定的改进，非结构化数据的存储与检索技术不具有普适性。改进和优化非结构化数据的存储与检索方法还处在研究与探索之中。

发明内容

本发明的目的在于提供一种面向虚拟实验的非结构化数据访问方法，该方法可以针对形式各异的海量非结构化数据建立索引、快速定位查找并提供统一访问接口，为虚拟实验的正确、稳定、高效运行提供存储支撑环境，同时提供了复杂查询方法以满足不同层次的需求。

本发明提供的一种面向虚拟实验的非结构化数据访问方法，其特征在于，其步骤包括：

(1)用户访问相应资源的URI，数据请求方法如果为POST，则进入步骤(2)执行POST请求；数据请求方法如果为GET，则进入步骤(3)执行GET请求；数据请求方法如果为DELETE，则进入步骤(4)执行DELETE请求；

(2)POST数据请求处理：

(2.1)进行安全认证，校验请求URI是否合法，如果不合法则结束该次请求；否则，对传入的数据进行哈希运算得到其键值，读取该类型数据对应的模式，进行数据提取，然后进入步骤(2.2)；

(2.2)在文档数据库中匹配是否存在相同键值的数据，如果存在则进入步骤(2.3)，否则进入步骤(2.4)；

(2.3)更新文档数据库中信息，进行数据缓存，返回该键值；并结束该次请求；

(2.4)在文档数据库中添加该数据，进行数据缓存，返回该键值并结束该次请求；

(3)GET数据请求处理流程包括对数据本身的GET请求以及对数据索引的GET请求两个部分：

(3.1)数据GET请求：

(3.1.1)进行安全认证，校验请求URI是否合法，如果不合法则结束该次请求；否则，进入步骤(3.1.2)；